2人のデータエンジニアが、別々のブランチで同じDatabricksノートブックに取り組んでいます。両者ともコードの同じセクションを編集しています。一方がDatabricks GitフォルダーUIを使用して、もう一方のブランチを自分のブランチにマージしようとしたところ、そのノートブックファイルでマージの競合が発生しました。UIは競合をハイライト表示し、解決方法を提示します。データエンジニアは、Databricks Gitフォルダーを使用してこのマージの競合をどのように解決すればよいでしょうか？

• A. Git フォルダー UI を使用してノートブック ファイルを手動で編集し、両方のバージョンから必要な行を選択し、競合マーカーを削除して、競合を解決済みとしてマークします。
• B. クラスターの Web ターミナルで Git CLI を使用して、競合したマージを強制的にプッシュし (git push -force)、リモート ブランチをローカル バージョンで上書きして変更を破棄します。
• C. マージを中止し、すべてのローカル変更を破棄して、競合するコードを確認せずにマージ操作を再試行します。
• D. Databricks ワークスペース UI を介して競合しているノートブック ファイルを削除し、削除をコミットして、新しいコミットでノートブックを最初から再作成し、競合を完全に回避します。

シニアデータエンジニアが大規模なデータワークフローを計画しています。現在の課題は、大規模データセットの効果的な管理に不可欠な、スケーラブルなデータモデル構築の基盤となる考慮事項を特定することです。データエンジニアリングチームは、最新のデータプラットフォームを構築するためのスケーラブルなデータモデルを構成するコア機能を特定し、Delta Lakeを検討対象とする理由を示しました。シニアデータエンジニアは、有効でない推奨事項を特定する責任を負います。Delta Lakeを評価する際に、どの主要機能を無視してもよいでしょうか？

• A. Delta Lake はデータ パイプラインの監視とトラブルシューティングに対するサポートが限定的であるため、運用効率を高めるには、関連するパートナー ツールを特定して設定する必要があります。
• B. Delta Lake はバッチ モードとストリーミング モードの両方でデータをシームレスに処理できるため、データの取り込みと処理に柔軟性があります。
• C. Delta Lake はメタデータの処理を最適化し、数十億のファイルを効率的に管理し、ペタバイト規模のデータセットへの拡張性を促進します。
• D. Delta Lake はさまざまなデータ形式 (Parquet、JSON、CSV など) に対応し、Spark および Databricks ツールと適切に統合されます。

1時間ごとのバッチジョブは、クラウドオブジェクトストレージコンテナからデータファイルを取り込むように構成されています。各バッチは、ソースシステムが特定の時間に生成したすべてのレコードを表します。これらのレコードをレイクハウスに処理するバッチジョブは、遅れて到着するデータが欠落しないように十分な遅延が設定されます。user_idフィールドはデータの一意のキーを表し、次のスキーマを持ちます。
user_id BIGINT、username STRING、user_utc STRING、user_region STRING、last_login BIGINT、auto_pay BOOLEAN、last_updated BIGINT 新しいレコードはすべてaccount_historyというテーブルに取り込まれ、ソースと同じスキーマ内のすべてのデータの完全な記録が保持されます。システム内の次のテーブルはaccount_currentという名前で、各一意のuser_idの最新の値を表すType 1テーブルとして実装されています。
数百万のユーザー アカウントがあり、1 時間ごとに数万のレコードが処理されると仮定すると、記述されている account_current テーブルを各時間ごとのバッチ ジョブの一部として効率的に更新するには、どの実装を使用できますか?

• A. 最後に更新されたフィールドと最後に処理された時間、およびユーザー ID による最後の最大入力を使用してアカウント履歴のレコードをフィルターし、各ユーザー ID の最新の値を更新または挿入するマージ ステートメントを記述します。
• B. 自動ローダーを使用して、アカウント履歴ディレクトリ内の新しいファイルをサブスクライブします。Structured Streaminq トリガー 1 回限りのジョブを構成して、新しく検出されたファイルをアカウントの現在のテーブルに一括更新します。
• C. ユーザー ID でグループ化し、最終更新の最大値をフィルタリングしたアカウント履歴テーブルに対するクエリの結果を使用して、各バッチでアカウントの現在のテーブルを上書きします。
• D. 最後に更新されたフィールドと最後に処理された時間を使用してアカウント履歴のレコードをフィルターし、ユーザー名の重複を排除します。各ユーザー名の最新の値を更新または挿入するためのマージ ステートメントを記述します。
• E. Delta Lake のバージョン履歴を使用して、アカウント履歴の最新バージョンと 1 つ前のバージョンの違いを取得し、これらのレコードを現在のアカウントに書き込みます。

あるデータエンジニアは、複数のサードパーティ製 Python ライブラリを必要とする Databricks ノートブックに取り組んでいます。これらのライブラリの一部は PyPI で入手可能ですが、その他はカスタム開発され、S3 バケットに local.wheel (.whl) および source (.tar.gz) ファイルとして保存されています。目標は、Unity Catalog 対応ワークスペース内の任意の自動化クラスターで実行される複数のジョブ間で、すべての依存関係がインストールされ、正しく利用できるようにすることです。エンジニアは、インタラクティブなノートブックとジョブ全体で一貫した環境設定を確保し、ワークスペースのセキュリティポリシー(インターネットアクセスなし)に準拠する方法で、必要な依存関係をインストールする必要があります。再現性とコンプライアンスを確保しながら、これらの依存関係をインストールおよび管理するには、エンジニアはどのようなアプローチを採用すべきでしょうか？

• A. プロジェクト全体の Python ホイール ファイルを作成し、それを Databricks ワークスペース ファイルまたはボリュームにアップロードし、クラスター ライブラリを使用してインストールするか、Databricks アセット バンドル内で宣言された requirements.txt で pip install を実行します。
• B. クラスター上の init スクリプトを使用して、ローカル ファイル システムを参照しながら、pip を使用してすべての依存関係をインストールします。
• C. 対話型クラスターのドライバー ノードにすべての依存関係を手動でインストールし、環境をエクスポートして、%conda を使用してジョブ クラスターに再インポートします。
• D. すべてのノートブックとジョブで %pip install を使用して、PyPl とカスタム S3 パスから直接パッケージをインストールします。