데이터 엔지니어링 팀은 다음 코드를 유지 관리합니다.

이 코드가 논리적으로 올바른 결과를 생성하고 원본 테이블의 데이터가 중복 제거 및 유효성 검사를 거쳤다고 가정할 때, 이 코드가 실행될 때 발생하는 상황을 설명하는 문장은 무엇입니까?

• A. 증분 작업은 silver_customer_sales 테이블에 새 행이 기록되었는지 감지합니다. 새 행이 감지되면 모든 집계가 다시 계산되어 gold_customer_lifetime_sales_summary 테이블을 덮어씁니다.
• B. 증분 작업은 상태 저장소의 실행 정보를 활용하여 gold_customer_lifetime_sales_summary 테이블의 집계 값을 업데이트합니다.
• C. silver_customer_sales 테이블은 gold_customer_lifetime_sales_summary 테이블의 모든 레코드에서 계산된 집계 값으로 일괄 처리되어 덮어쓰여집니다.
• D. 배치 작업이 gold_customer_lifetime_sales_summary 테이블을 업데이트합니다. 이때 customer_id를 기본 키로 사용하여 현재 테이블 버전과 값이 다른 행만 교체합니다.
• E. gold_customer_lifetime_sales_summary 테이블은 silver_customer_sales 테이블의 모든 레코드에서 계산된 집계 값으로 일괄 처리되어 덮어쓰여집니다.

데이터 엔지니어가 세 개의 노트북을 오케스트레이션하는 멀티태스킹 Databricks 작업을 배포합니다. 그중 한 작업이 간헐적으로 종료 코드 1로 실패하지만 재시도하면 성공합니다. 엔지니어는 실패한 시도에 대한 자세한 로그(표준 출력/표준 오류 및 클러스터 수명 주기 컨텍스트 포함)를 수집하여 플랫폼 팀과 공유해야 합니다. 데이터 엔지니어는 내장 도구를 사용하여 어떤 단계를 따라야 할까요?

• A. 작업 실행 세부 정보 페이지에서 작업 로그를 내보내거나 로그 전달을 구성한 다음, 컴퓨팅 세부 정보 페이지에서 컴퓨팅 드라이버 로그 및 이벤트 로그를 검색하여 stdout/stderr을 클러스터 이벤트와 연관시킵니다.
• B. 노트북 대화형 디버거를 사용하여 전체 멀티태스킹 작업을 다시 실행하고 실패한 작업에 대한 단계별 추적을 캡처합니다.
• C. 노트북 실행 결과를 HTML로 내보냅니다. 이 번들에는 모든 작업에 대한 전체 표준 출력, 표준 오류 및 클러스터 이벤트 기록이 포함됩니다.
• D. Spark UI에서 워커 로그를 직접 다운로드하고 드라이버 로그는 무시합니다. 워커 로그에는 모든 작업 및 클러스터 이벤트에 대한 stdout/stderr이 포함되어 있습니다.

데이터 아키텍트는 두 개의 구조화된 스트리밍 작업이 하나의 브론즈 델타 테이블에 동시에 데이터를 기록하는 시스템을 설계했습니다. 각 작업은 Apache Kafka 소스의 서로 다른 토픽을 구독하지만, 동일한 스키마를 사용하여 데이터를 기록합니다. 디렉터리 구조를 단순하게 유지하기 위해 데이터 엔지니어는 두 스트림이 공유하는 체크포인트 디렉터리를 중첩하기로 결정했습니다.
제안된 디렉토리 구조는 아래와 같습니다.

주어진 시나리오에서 이 체크포인트 디렉터리 구조가 유효한지 여부를 설명하는 문장은 무엇이며, 그 이유는 무엇입니까?

• A. 예, 두 스트림 모두 하나의 체크포인트 디렉토리를 공유할 수 있습니다.
• B. 예; Delta Lake는 무제한 동시 쓰기 작업을 지원합니다.
• C. 아니요; Delta Lake는 트랜잭션 로그에서 스트리밍 체크포인트를 관리합니다.
• D. 아니요, 각 스트림마다 자체 체크포인트 디렉터리가 필요합니다.
• E. 아니요, Delta Lake 테이블에 쓰기 작업을 수행할 수 있는 스트림은 하나뿐입니다.

데이터 엔지니어가 S3 버킷에 저장된 환자 진료 기록 데이터를 일괄 처리하는 시스템을 설계하고 있습니다. 이 시스템은 encounter_id, patient_id, encounter_date, diagnosis_code, treatment_cost 열을 가진 Delta 테이블(patient_encounters)을 생성합니다. 이 테이블은 patient_id와 encounter_date를 기준으로 자주 조회되므로 빠른 처리 속도가 요구됩니다. 또한, 세분화된 접근 제어가 필수적입니다. 엔지니어는 유지 관리를 최소화하고 성능을 향상시키고자 합니다. 데이터 엔지니어는 patient_encounters 테이블을 어떻게 생성해야 할까요?

• A. Unity Catalog에 관리형 테이블을 생성합니다. 접근 제어를 위해 Unity Catalog 권한을 구성하고, 최적의 성능을 위해 OPTIMIZE 및 VACUUM 명령이 매일 실행되도록 작업을 예약합니다.
• B. Unity Catalog에 관리형 테이블을 생성합니다. 접근 제어를 위해 Unity Catalog 권한을 구성하고, 예측 최적화를 활용하여 쿼리 성능을 향상시키고 유지 관리를 간소화합니다.
• C. Hive Metastore에 관리형 테이블을 생성합니다. 접근 제어를 위해 Hive Metastore 권한을 구성하고, 예측 최적화를 활용하여 쿼리 성능을 향상시키고 유지 관리를 간소화합니다.
• D. Unity Catalog에 외부 테이블을 생성하고 데이터 파일의 S3 위치를 지정합니다. 테이블 속성을 통해 예측 최적화를 활성화하고 접근 제어를 위해 Unity Catalog 권한을 구성합니다.