Databricks-Certified-Data-Engineer-Professional Korean試験無料問題集「Databricks Certified Data Engineer Professional Exam (Databricks-Certified-Data-Engineer-Professional Korean Version) 認定」
데이터 엔지니어가 메시지 버스 시스템에서 데이터를 수집하는 파이프라인을 구축하고 있는데, 이 시스템은 때때로 중복 메시지를 전송합니다. 중복 메시지는 최대 일주일 간격으로 전송될 수 있습니다. 목표는 Databricks Delta Lake 테이블이며, 각 레코드는 정확히 한 번만 표시되어야 합니다. 구성된 워터마크 범위를 벗어나 이벤트가 도착하는 경우 발생할 수 있는 중복을 처리하기 위해 어떤 Databricks 데이터 수집 패턴을 구현해야 할까요?
正解:D
解答を投票する
解説: (GoShiken メンバーにのみ表示されます)
데이터 엔지니어인 사용자 A는 REST API를 사용하여 여러 작업을 프로그래밍 방식으로 생성함으로써 새로운 파이프라인을 프로덕션 환경으로 배포했습니다. DevOps 엔지니어인 사용자 B는 외부 오케스트레이션 도구를 구성하여 REST API를 통해 작업 실행을 트리거하도록 설정했습니다. 두 사용자 모두 개인 액세스 토큰을 사용하여 REST API 호출을 승인했습니다.
다음 중 해당 이벤트와 관련된 작업 공간 감사 로그의 내용을 설명하는 문장은 무엇입니까?
다음 중 해당 이벤트와 관련된 작업 공간 감사 로그의 내용을 설명하는 문장은 무엇입니까?
正解:E
解答を投票する
解説: (GoShiken メンバーにのみ表示されます)
시간 단위 배치 작업이 구성되어 클라우드 객체 스토리지 컨테이너에서 데이터 파일을 수집합니다. 각 배치는 해당 시간 동안 소스 시스템에서 생성된 모든 레코드를 나타냅니다. 이러한 레코드를 레이크하우스에 처리하는 배치 작업은 지연된 데이터가 누락되지 않도록 충분한 시간 간격을 두고 실행됩니다. user_id 필드는 데이터의 고유 키이며, 다음과 같은 스키마를 갖습니다.
user_id는 BIGINT, username은 STRING, user_utc는 STRING, user_region은 STRING, last_login은 BIGINT, auto_pay는 BOOLEAN, last_updated는 BIGINT입니다. 모든 새 레코드는 account_history라는 테이블에 입력되며, 이 테이블은 소스와 동일한 스키마에 모든 데이터의 전체 기록을 유지합니다. 시스템의 다음 테이블은 account_current이며, 각 고유 user_id에 대한 최신 값을 나타내는 Type 1 테이블로 구현됩니다.
수백만 개의 사용자 계정과 시간당 수만 건의 레코드가 처리된다고 가정할 때, 매시간 배치 작업의 일부로 설명된 account_current 테이블을 효율적으로 업데이트하는 데 사용할 수 있는 구현 방법은 무엇입니까?
user_id는 BIGINT, username은 STRING, user_utc는 STRING, user_region은 STRING, last_login은 BIGINT, auto_pay는 BOOLEAN, last_updated는 BIGINT입니다. 모든 새 레코드는 account_history라는 테이블에 입력되며, 이 테이블은 소스와 동일한 스키마에 모든 데이터의 전체 기록을 유지합니다. 시스템의 다음 테이블은 account_current이며, 각 고유 user_id에 대한 최신 값을 나타내는 Type 1 테이블로 구현됩니다.
수백만 개의 사용자 계정과 시간당 수만 건의 레코드가 처리된다고 가정할 때, 매시간 배치 작업의 일부로 설명된 account_current 테이블을 효율적으로 업데이트하는 데 사용할 수 있는 구현 방법은 무엇입니까?
正解:E
解答を投票する
解説: (GoShiken メンバーにのみ表示されます)
상위 시스템에서 변경 데이터 캡처(CDC) 로그가 생성되어 클라우드 객체 스토리지 디렉터리에 기록됩니다. 로그의 각 레코드는 변경 유형(삽입, 업데이트 또는 삭제)과 변경 후 각 필드의 값을 나타냅니다. 소스 테이블에는 pk_id 필드로 식별되는 기본 키가 있습니다.
감사 목적으로 데이터 거버넌스 팀은 소스 시스템에서 유효했던 모든 값에 대한 전체 기록을 유지하고자 합니다. 분석 목적으로는 각 레코드의 가장 최근 값만 기록하면 됩니다. 이러한 레코드를 수집하는 Databricks 작업은 한 시간에 한 번 실행되지만, 각 레코드는 한 시간 동안 여러 번 변경될 수 있습니다.
어떤 솔루션이 이러한 요구 사항을 충족합니까?
감사 목적으로 데이터 거버넌스 팀은 소스 시스템에서 유효했던 모든 값에 대한 전체 기록을 유지하고자 합니다. 분석 목적으로는 각 레코드의 가장 최근 값만 기록하면 됩니다. 이러한 레코드를 수집하는 Databricks 작업은 한 시간에 한 번 실행되지만, 각 레코드는 한 시간 동안 여러 번 변경될 수 있습니다.
어떤 솔루션이 이러한 요구 사항을 충족합니까?
正解:A
解答を投票する
解説: (GoShiken メンバーにのみ表示されます)
데이터 엔지니어링 팀의 주니어 멤버가 Databricks 노트북의 언어 상호 운용성을 탐색하고 있습니다. 아래 코드의 목표는 geo_lookup 테이블에 있는 아프리카 대륙 국가에서 발생한 모든 판매 내역을 표시하는 것입니다.
코드를 실행하기 전에 현재 데이터베이스에서 SHOW TABLES 명령을 실행하면 데이터베이스에 geo_lookup과 sales라는 두 개의 테이블만 있는 것으로 나타납니다.

대화형 노트북에서 이러한 명령 셀을 순서대로 실행했을 때의 결과를 올바르게 설명하는 문장은 무엇입니까?
코드를 실행하기 전에 현재 데이터베이스에서 SHOW TABLES 명령을 실행하면 데이터베이스에 geo_lookup과 sales라는 두 개의 테이블만 있는 것으로 나타납니다.

대화형 노트북에서 이러한 명령 셀을 순서대로 실행했을 때의 결과를 올바르게 설명하는 문장은 무엇입니까?
正解:B
解答を投票する
解説: (GoShiken メンバーにのみ表示されます)

