Databricks-Certified-Data-Engineer-Professional Korean試験無料問題集「Databricks Certified Data Engineer Professional Exam (Databricks-Certified-Data-Engineer-Professional Korean Version) 認定」

아래 쿼리를 사용하여 Delta Lake 테이블이 생성되었습니다.

다음 질문을 고려해 보세요.
prod.sales_by_store 테이블을 삭제합니다.
워크스페이스 관리자가 이 명령문을 실행하면 어떤 결과가 발생할까요?

解説: (GoShiken メンバーにのみ表示されます)
데이터 거버넌스 팀은 개인 식별 정보(PH)가 포함된 모든 테이블에 명확한 주석을 추가해야 한다는 요구 사항을 도입했습니다. 여기에는 열 주석, 테이블 주석 추가 및 사용자 지정 테이블 속성 "contains_pii" = true 설정이 포함됩니다.
다음 SQL DDL 문이 실행되어 새 테이블이 생성됩니다.

이 세 가지 요구 사항이 충족되었는지 수동으로 확인할 수 있는 명령은 무엇입니까?

解説: (GoShiken メンバーにのみ表示されます)
Unity Catalog에 데이터 엔지니어링 워크스페이스가 자동으로 활성화되어 워크스페이스 카탈로그가 생성되었습니다. 새 팀 구성원들은 기본 스키마에는 테이블을 생성할 수 있지만 동일한 워크스페이스 카탈로그 내의 다른 스키마에 있는 테이블에는 접근할 수 없다고 보고합니다. 새 팀 구성원들이 다른 스키마의 테이블에 접근할 수 없는 이유는 무엇일까요?

解説: (GoShiken メンバーにのみ表示されます)
데이터 엔지니어가 메시지 버스 시스템에서 데이터를 수집하는 파이프라인을 구축하고 있는데, 이 시스템은 때때로 중복 메시지를 전송합니다. 중복 메시지는 최대 일주일 간격으로 전송될 수 있습니다. 목표는 Databricks Delta Lake 테이블이며, 각 레코드는 정확히 한 번만 표시되어야 합니다. 구성된 워터마크 범위를 벗어나 이벤트가 도착하는 경우 발생할 수 있는 중복을 처리하기 위해 어떤 Databricks 데이터 수집 패턴을 구현해야 할까요?

解説: (GoShiken メンバーにのみ表示されます)
데이터 엔지니어인 사용자 A는 REST API를 사용하여 여러 작업을 프로그래밍 방식으로 생성함으로써 새로운 파이프라인을 프로덕션 환경으로 배포했습니다. DevOps 엔지니어인 사용자 B는 외부 오케스트레이션 도구를 구성하여 REST API를 통해 작업 실행을 트리거하도록 설정했습니다. 두 사용자 모두 개인 액세스 토큰을 사용하여 REST API 호출을 승인했습니다.
다음 중 해당 이벤트와 관련된 작업 공간 감사 로그의 내용을 설명하는 문장은 무엇입니까?

解説: (GoShiken メンバーにのみ表示されます)
상위 시스템에서 특정 데이터 배치에 대한 날짜를 매개변수로 Databricks Jobs API에 전달하도록 구성되었습니다. 예약된 노트북은 이 매개변수를 사용하여 다음 코드로 데이터를 로드합니다.
df = spark.read.format("parquet").load(f"/mnt/source/(date)")
위 코드 블록에서 사용된 날짜 파이썬 변수를 생성하려면 어떤 코드 블록을 사용해야 할까요?

解説: (GoShiken メンバーにのみ表示されます)
한 회사가 여러 데이터 소스에 걸쳐 Lakehouse Federation을 구현하려고 하지만, 데이터 일관성과 모든 팀이 동일한 공식 버전의 데이터에 액세스하는 것을 보장하는 데 우려를 가지고 있습니다. Lakehouse Federation이 데이터 일관성을 유지하기 위해 적용되는 설명은 무엇입니까?

解説: (GoShiken メンバーにのみ表示されます)
데이터 설계자는 레이크하우스의 모든 테이블을 외부(일명 "관리되지 않는") Delta Lake 테이블로 구성해야 한다고 지시했습니다.
어떤 접근 방식이 이 요구 사항을 충족시킬 수 있을까요?

解説: (GoShiken メンバーにのみ表示されます)
시간 단위 배치 작업이 구성되어 클라우드 객체 스토리지 컨테이너에서 데이터 파일을 수집합니다. 각 배치는 해당 시간 동안 소스 시스템에서 생성된 모든 레코드를 나타냅니다. 이러한 레코드를 레이크하우스에 처리하는 배치 작업은 지연된 데이터가 누락되지 않도록 충분한 시간 간격을 두고 실행됩니다. user_id 필드는 데이터의 고유 키이며, 다음과 같은 스키마를 갖습니다.
user_id는 BIGINT, username은 STRING, user_utc는 STRING, user_region은 STRING, last_login은 BIGINT, auto_pay는 BOOLEAN, last_updated는 BIGINT입니다. 모든 새 레코드는 account_history라는 테이블에 입력되며, 이 테이블은 소스와 동일한 스키마에 모든 데이터의 전체 기록을 유지합니다. 시스템의 다음 테이블은 account_current이며, 각 고유 user_id에 대한 최신 값을 나타내는 Type 1 테이블로 구현됩니다.
수백만 개의 사용자 계정과 시간당 수만 건의 레코드가 처리된다고 가정할 때, 매시간 배치 작업의 일부로 설명된 account_current 테이블을 효율적으로 업데이트하는 데 사용할 수 있는 구현 방법은 무엇입니까?

解説: (GoShiken メンバーにのみ表示されます)
상위 시스템에서 변경 데이터 캡처(CDC) 로그가 생성되어 클라우드 객체 스토리지 디렉터리에 기록됩니다. 로그의 각 레코드는 변경 유형(삽입, 업데이트 또는 삭제)과 변경 후 각 필드의 값을 나타냅니다. 소스 테이블에는 pk_id 필드로 식별되는 기본 키가 있습니다.
감사 목적으로 데이터 거버넌스 팀은 소스 시스템에서 유효했던 모든 값에 대한 전체 기록을 유지하고자 합니다. 분석 목적으로는 각 레코드의 가장 최근 값만 기록하면 됩니다. 이러한 레코드를 수집하는 Databricks 작업은 한 시간에 한 번 실행되지만, 각 레코드는 한 시간 동안 여러 번 변경될 수 있습니다.
어떤 솔루션이 이러한 요구 사항을 충족합니까?

解説: (GoShiken メンバーにのみ表示されます)
데이터 엔지니어링 팀의 주니어 멤버가 Databricks 노트북의 언어 상호 운용성을 탐색하고 있습니다. 아래 코드의 목표는 geo_lookup 테이블에 있는 아프리카 대륙 국가에서 발생한 모든 판매 내역을 표시하는 것입니다.
코드를 실행하기 전에 현재 데이터베이스에서 SHOW TABLES 명령을 실행하면 데이터베이스에 geo_lookup과 sales라는 두 개의 테이블만 있는 것으로 나타납니다.

대화형 노트북에서 이러한 명령 셀을 순서대로 실행했을 때의 결과를 올바르게 설명하는 문장은 무엇입니까?

解説: (GoShiken メンバーにのみ表示されます)
Databricks SQL 대시보드가 ​​다음 쿼리 패턴을 사용하여 Delta Lake 테이블 모음에 있는 총 레코드 수를 모니터링하도록 구성되었습니다.
테이블에서 COUNT(*)를 선택합니다.
다음 중 대시보드가 ​​업데이트될 때마다 결과가 생성되는 방식을 설명하는 것은 무엇입니까?

解説: (GoShiken メンバーにのみ表示されます)
프로덕션 환경에 구조화된 스트리밍 작업을 예약할 때, 쿼리 실패 시 자동으로 복구되고 비용을 낮게 유지하는 구성은 무엇입니까?

解説: (GoShiken メンバーにのみ表示されます)