Databricks-Certified-Data-Engineer-Professional日本語試験無料問題集「Databricks Certified Data Engineer Professional Exam (Databricks-Certified-Data-Engineer-Professional日本語版) 認定」

A. 構造化ストリーミングは、特殊なハードウェアと I/O ストリームを使用して、データ転送のレイテンシを 1 秒未満に抑えます。

B. 構造化ストリーミングは、データ ストリームに到着する新しいデータを、無制限のテーブルに追加される新しい行としてモデル化します。

C. 構造化ストリーミングはメッセージング バスとして実装されており、Apache Kafka から派生しています。

D. 構造化ストリーミングは、GPU の並列処理を活用して、高度な並列データ スループットを実現します。

E. 構造化ストリーミングは、キャッシュされたステージの増分状態値を保持するノードの分散ネットワークに依存します。

A. 一貫性の問題のため、ストリーム静的結合では静的デルタ テーブルを使用できません。

B. チェックポイント ディレクトリは、結合に存在する一意のキーの状態情報を追跡するために使用されます。

C. チェックポイント ディレクトリは、静的 Delta テーブルの更新を追跡するために使用されます。

D. ストリーム静的結合の各マイクロバッチは、ジョブの初期化時点での静的 Delta テーブルの最新バージョンを使用します。

E. ストリーム静的結合の各マイクロバッチでは、各マイクロバッチの時点での静的 Delta テーブルの最新バージョンが使用されます。

A. Databricks は、MERGE 操作の所要時間を短縮するために、ターゲット ファイル サイズを小さくするように自動調整しました。

B. Databricks は、各パーティションのデータ量に基づいて、ターゲット ファイル サイズを小さくするように自動調整しました。

C. テーブルで計算されたZオーダーインデックスがファイルの圧縮を妨げています。C テーブルで計算されたブルームフィラーインデックスがファイルの圧縮を妨げています。

D. Databricks は、テーブル内のデータの全体的なサイズに基づいて、ターゲット ファイルのサイズを小さくするように自動調整しました。

A. Unity Catalog にマネージドテーブルを作成します。アクセス制御のための Unity Catalog 権限を設定し、OPTIMIZE コマンドと VACUUM コマンドを毎日実行するジョブをスケジュールして、最高のパフォーマンスを実現します。

B. Unity Catalog に外部テーブルを作成し、データファイルの S3 の場所を指定します。テーブルプロパティを通じて予測最適化を有効にし、アクセス制御のための Unity Catalog 権限を設定します。

C. Hiveメタストアにマネージドテーブルを作成します。アクセス制御のためのHiveメタストア権限を設定し、予測最適化を利用してクエリパフォーマンスを向上させ、メンテナンスを簡素化します。

D. Unity Catalog にマネージドテーブルを作成します。アクセス制御のための Unity Catalog 権限を設定し、予測最適化を利用してクエリパフォーマンスを向上させ、メンテナンスを簡素化します。

A. 

B. 

C. 

D. 

A. はい。変更データ フィードは外部キーを使用して、Lakehouse 全体での削除の一貫性を確保します。

B. いいえ。削除されたレコードを含むファイルは、BACUM コマンドを使用して無効化されたデータ ファイルを削除するまで、タイム トラベルで引き続きアクセスできる可能性があります。

C. いいえ。変更データ フィードは挿入と更新のみを追跡し、削除されたレコードは追跡しません。

D. はい。Delta Lake ACID 保証により、DELETE コマンドが完全に成功し、これらのレコードが永続的に消去されたことが保証されます。

E. いいえ。Delta Lake の DELETE コマンドは、MERGE INTO コマンドと組み合わせた場合にのみ ACID 保証を提供します。

A. Databricks Jobs REST API (/jobs/run-now)、CLI (databricks jobs run-now)、またはいずれかの Databricks SDK を使用して、プログラムによってジョブをトリガーします。

B. UI、Databricks Asset Bundles (DAB)、またはJobs REST API (/jobs/create) を使用して、ノートブック、Python Wheel、SQLタスクを含むマルチタスクジョブを作成します。ジョブ定義で、タスクレベルの再試行とメール通知を設定します。

C. dbutils.notebook.run() を使用して各ステップを呼び出す単一のオーケストレーター ノートブックを作成し、そのノートブックのジョブを定義して、ノートブック レベルで再試行と通知を構成します。

D. REST API エンドポイント /jobs/runs/submit を使用して、各タスクを個別のジョブ実行として個別にトリガーし、オーケストレーターでカスタム ロジックを使用して再試行を実装します。

E. Databricks Asset Bundles (DAB) を使用してワークフローをデプロイし、ワークスペース内の各タスクのノートブックまたはスクリプト パスを参照して個々のタスクを直接トリガーします。

A. @dlt.table
@dlt.expect("valid_customer", "customer_id IS NOT NULL")
@dlt.expect("valid_amount", "amount > 0")
def silver_orders():
return dlt.read_stream("bronze_orders")

B. @dlt.table
def silver_orders():
return (
dlt.read_stream("bronze_orders")
.expect("valid_customer", "customer_id IS NOT NULL")
.expect("valid_amount", "amount > 0")
)

C. @dlt.table
def silver_orders():
return (
dlt.read_stream("bronze_orders")
.expect_or_drop("valid_customer", "customer_id IS NOT NULL")
.expect_or_drop("valid_amount", "amount > 0")
)

D. @dlt.table
@dlt.expect_or_drop("valid_customer", "customer_id IS NOT NULL")
@dlt.expect_or_drop("valid_amount", "amount > 0")
def silver_orders():
return dlt.read_stream("bronze_orders")

A. JSON ファイル パスを参照する SQL CONSTRAINT ブロックを使用します。

B. メタデータ ルールに照らしてレコードを検証するために外部 API を呼び出します。

C. JSON メタデータを読み込み、そのエントリをループし、dlt.expect_all を使用して期待値を適用します。

D. テーブル宣言で、@dlt.expect デコレータを使用して各期待値を参照します。

A. 書き込み前にシャッフルが発生し、データをグループ化しようとするため、各実行者がディレクトリ パーティションに基づいて複数のファイルを書き込む代わりに、ファイル数が減ります。

B. 最適化された書き込みでは、ディレクトリ パーティションではなく論理パーティションが使用され、パーティション境界はメタデータでのみ表され、書き込まれる小さなファイルが少なくなります。

C. 書き込みが完了した後、ファイルをさらに圧縮できるかどうかを検出するための非同期ジョブが実行されます。はい、デフォルトの 1 GB に向けて OPTIMIZE ジョブが実行されます。

D. ジョブ クラスターが終了する前に、最新のジョブ中に変更されたすべてのテーブルに対して OPTIMIZE が実行されます。

A. SELECT identity_metadata.run_as AS user_email,
SUM(usage_quantity) AS total_dbus
FROM system.billing.usage
GROUP BY user_email
ORDER BY total_dbus DESC
LIMIT 10

B. SELECT sku_name,
identity_metadata.created_by AS user_email,
SUM(usage_quantity * usage_unit) AS total_dbus
FROM system.billing.usage
GROUP BY user_email, sku_name
ORDER BY total_dbus DESC
LIMIT 10

C. SELECT sku_name,
usage_metadata.run_name AS user_email,
SUM(usage_quantity) AS total_dbus
FROM system.billing.usage
GROUP BY user_email, sku_name
ORDER BY total_dbus DESC
LIMIT 10

D. SELECT sku_name,
identity_metadata.created_by AS user_email,
COUNT(usage_quantity) AS total_dbus
FROM system.billing.usage
GROUP BY user_email, sku_name
ORDER BY total_dbus DESC
LIMIT 10

A. @dlt.table(name="trips_data_quarantine")
def trips_data_quarantine():
return (
spark.readStream.table("raw_trips_data")
.filter(expr(quarantine_rules))
)

B. @dlt.table(partition_cols=["is_quarantined", ])
@dlt.expect_all(rules)
def trips_data_quarantine():
return (
spark.readStream.table("raw_trips_data")
.withColumn("is_quarantined", expr(quarantine_rules))
)

C. @dlt.view
@dlt.expect_or_drop("lat_long_present", "(lat IS NOT NULL AND long IS NOT NULL)") def trips_data_quarantine():
return spark.readStream.table("ride_and_go.telemetry.trips")

D. @dlt.table
@dlt.expect_all_or_drop(rules)
def trips_data_quarantine():
return spark.readStream.table("raw_trips_data")

A. 各バッチが完了した後、Delta テーブルを VACUUM します。

B. 構成 delta.deduplicate = true を設定します。

C. Delta Lake スキーマの適用を利用して、重複レコードを防止します。

D. 一意のキーに対して一致する条件を使用して挿入のみのマージを実行します。

E. 一意のキーで完全外部結合を実行し、既存のデータを上書きします。