難易度は Level 1(やさしめ)〜Level 5(難関) の5段階です。
DP-750のサンプル問題(本番形式・解説付き)
DP-750(Microsoft・Azure Databricks Data Engineer Associate)の出題形式を確認できます。ここに掲載する5問は、無料の会員登録で解ける模試 第1回(50問)の冒頭からの抜粋です。問題集は全850問を、本番CBT準拠の形式で収録しています。
設問1
Structured Streaming のトリガーの書き方に合う動きを、下のタイルから選んで置いてください。(使わないタイルもあります)
解説
processingTime は固定間隔、availableNow は処理して止まる増分バッチ、realTime はサブ秒、未指定は間隔 0 ms です。
設問2
Alpine Ski House 社の Bronze への増分取り込みは、1 日 1 回、夜間に更新されれば十分です。取り込み費用を低く抑えたいと考えています。取り込みの動かし方として、適切なものはどれですか。
- 取り込みを手動実行にして、毎日、担当者が起動する
- スケジュールかファイル到着のトリガーで、トリガー型の増分取り込みにする(正解)
- 連続のパイプラインにし、クラスターを常時動かす
- continuous トリガーで、継続的な増分取り込みにする
解説
トリガー型の増分取り込みは、コストが低く、遅延が高めです。ジョブのスケジュールかファイル到着のトリガーで動かします。継続的な増分取り込みは、コストが高く、遅延が低くなります。 「continuous トリガーで、継続的な増分取り込みにする」は誤りです。継続的な増分取り込みは、遅延が低い代わりにコストが高くなります。夜間 1 回で足りる要件には過剰です。 「連続のパイプラインにし、クラスターを常時動かす」は誤りです。常時動かすと費用が高くなります。更新が夜間 1 回なら、トリガー型で足ります。 「取り込みを手動実行にして、毎日、担当者が起動する」は誤りです。継続的かトリガー型かは、ジョブのトリガーで切り替えます。担当者の手動起動にする必要はありません。
他の選択肢が誤りである理由
- 「取り込みを手動実行にして、毎日、担当者が起動する」「取り込みを手動実行にして、毎日、担当者が起動する」は誤りです。継続的かトリガー型かは、ジョブのトリガーで切り替えます。担当者の手動起動にする必要はありません。
- 「連続のパイプラインにし、クラスターを常時動かす」「連続のパイプラインにし、クラスターを常時動かす」は誤りです。常時動かすと費用が高くなります。更新が夜間 1 回なら、トリガー型で足ります。
- 「continuous トリガーで、継続的な増分取り込みにする」「continuous トリガーで、継続的な増分取り込みにする」は誤りです。継続的な増分取り込みは、遅延が低い代わりにコストが高くなります。夜間 1 回で足りる要件には過剰です。
設問3
Litware 社の ADLS Gen2 のストレージ アカウントは、次の設定である。
| 項目 | 値 |
|---|---|
| ストレージ アカウント | stlitware |
| リージョン | Japan East |
| ネットワーク | ファイアウォールの規則で保護されている |
チームは、キーやシークレットの管理を増やさずに、Azure Databricks からこのストレージに接続したい。最も適切な構成はどれか。
- ストレージ アカウントの接続文字列をシークレットに保存し、ノートブックから読んで接続する
- Japan East にアクセス コネクタを作り、そのマネージド ID にストレージの役割を付与して、ストレージ資格情報と外部ロケーションを作成する(正解)
- East US 2 にアクセス コネクタを作り、そのマネージド ID にストレージの役割を付与する
- サービス プリンシパルを作り、その OAuth シークレットでストレージに接続して、シークレットの期限が切れる前に更新する運用を組み、ストレージ資格情報は作らない
解説
マネージド ID は、資格情報の管理やシークレットのローテーションが要らず、ネットワーク規則で保護されたストレージにもアクセスできます。コネクタのリージョンはストレージと同じにして、ストレージ資格情報と外部ロケーションを作ります。 接続文字列をシークレットに入れる方法は、保管と更新の運用が増えるので選びません。 アクセス コネクタは、接続するストレージ アカウントと同じリージョンに置くことが求められます。この案は East US 2 に置いたうえ、ストレージ資格情報と外部ロケーションも作っていません。 サービス プリンシパルは、ネットワーク規則で保護されたストレージにアクセスできません。シークレットの更新の運用も増えます。
他の選択肢が誤りである理由
- 「ストレージ アカウントの接続文字列をシークレットに保存し、ノートブックから読んで接続する」接続文字列をシークレットに入れる方法は、保管と更新の運用が増えるので選びません。
- 「East US 2 にアクセス コネクタを作り、そのマネージド ID にストレージの役割を付与する」アクセス コネクタは、接続するストレージ アカウントと同じリージョンに置くことが求められます。この案は East US 2 に置いたうえ、ストレージ資格情報と外部ロケーションも作っていません。
- 「サービス プリンシパルを作り、その OAuth シークレットでストレージに接続して、シークレットの期限が切れる前に更新する運用を組み、ストレージ資格情報は作らない」サービス プリンシパルは、ネットワーク規則で保護されたストレージにアクセスできません。シークレットの更新の運用も増えます。
設問4
Databricks Runtime 17.3 LTS のクラシックの汎用コンピューティングを作ります。Photon は、設定を変えない場合に、どうなりますか。
- Premium プランのワークスペースでだけ、有効になる
- 既定で有効になり、チェックボックスで切り替えられる(正解)
- 既定で無効で、チェックボックスをオンにして有効にする
- ジョブ コンピューティングでだけ、既定で有効になる
解説
Photon は、Databricks Runtime 9.1 LTS 以上で動くコンピューティングで、既定で有効です。Use Photon Acceleration チェックボックスで切り替えます。 「既定で無効で、チェックボックスをオンにして有効にする」は誤りです。Databricks Runtime 9.1 LTS 以上では、Photon は既定で有効です。 「Premium プランのワークスペースでだけ、有効になる」は誤りです。Photon の既定の有効化は、プランではなくランタイムの版で決まります。 「ジョブ コンピューティングでだけ、既定で有効になる」は誤りです。汎用コンピューティングでも、Databricks Runtime 9.1 LTS 以上なら既定で有効です。
他の選択肢が誤りである理由
- 「Premium プランのワークスペースでだけ、有効になる」「Premium プランのワークスペースでだけ、有効になる」は誤りです。Photon の既定の有効化は、プランではなくランタイムの版で決まります。
- 「既定で無効で、チェックボックスをオンにして有効にする」「既定で無効で、チェックボックスをオンにして有効にする」は誤りです。Databricks Runtime 9.1 LTS 以上では、Photon は既定で有効です。
- 「ジョブ コンピューティングでだけ、既定で有効になる」「ジョブ コンピューティングでだけ、既定で有効になる」は誤りです。汎用コンピューティングでも、Databricks Runtime 9.1 LTS 以上なら既定で有効です。
設問5
Northwind 社は、次の AUTO CDC のフローで、SCD タイプ 2 のテーブルを作る。
CREATE OR REFRESH STREAMING TABLE accounts_history; CREATE FLOW apply_cdc AS AUTO CDC INTO accounts_history FROM stream(main.cdc.accounts_cdf) KEYS (accountId) APPLY AS DELETE WHEN operation = "DELETE" SEQUENCE BY sequenceNum COLUMNS * EXCEPT (operation, sequenceNum) STORED AS SCD TYPE 2;
ソースの変更フィードは次のとおり。
| accountId | plan | operation | sequenceNum |
|---|---|---|---|
| 201 | Basic | INSERT | 1 |
| 202 | Basic | INSERT | 1 |
| 201 | Standard | UPDATE | 4 |
| 202 | null | DELETE | 5 |
| 201 | Premium | UPDATE | 7 |
処理後の accounts_history で、__END_AT が NULL の行はどれか。
- accountId 201 の Basic、Standard、Premium の 3 行
- accountId 201 の Premium と、accountId 202 の Basic の 2 行
__END_ATが NULL の行は、1 行も無い- accountId 201 の Premium の 1 行だけ(正解)
解説
タイプ 2 では、現在有効な行だけが __END_AT を NULL で持ちます。201 は Premium が現行の版で、古い版は次の版の __START_AT で閉じます。202 は削除されるので、最後の版の Basic も削除の sequenceNum である 5 で閉じます。 201 の Basic と Standard は、次の版の __START_AT である 4 と 7 で閉じています。NULL の行は、現行の Premium だけです。 202 は 5 で削除されているので、Basic の行は __END_AT が 5 で閉じます。現在有効な行ではありません。 201 の Premium は、より新しい版が無い現行の版なので、__END_AT が NULL の行が 1 行あります。
他の選択肢が誤りである理由
- 「accountId 201 の Basic、Standard、Premium の 3 行」201 の Basic と Standard は、次の版の
__START_ATである 4 と 7 で閉じています。NULL の行は、現行の Premium だけです。 - 「accountId 201 の Premium と、accountId 202 の Basic の 2 行」202 は 5 で削除されているので、Basic の行は
__END_ATが 5 で閉じます。現在有効な行ではありません。 - 「
__END_ATが NULL の行は、1 行も無い」201 の Premium は、より新しい版が無い現行の版なので、__END_ATが NULL の行が 1 行あります。
続きは、会員登録なしでそのまま50問解答できます。採点と解説つきで、上と同じ本物の問題です。
登録なしで50問解く