DatabricksLevel 3

難易度は Level 1(やさしめ)〜Level 5(難関) の5段階です。

Databricks Data Engineer Associateのサンプル問題(本番形式・解説付き)

Databricks Data Engineer Associate(Databricks・Databricks Certified Data Engineer Associate(データエンジニア アソシエイト))の出題形式を、実際の問題で確かめられます。ここに掲載する5問は、無料の会員登録で解ける模試 第1回(45問)の冒頭から抜粋したオリジナル問題です。当サイトは全765問を本番CBT準拠の形式で収録しており、この5問はそのごく一部にあたります。

設問1

次の DataFrame に df.dropna(how="all", thresh=3) をかけます。 df(id は整数、name・d は文字列、qty は整数の列。NULL は SQL の NULL) id | name | qty | d 1 | ' Ab ' | NULL | 2026-10-01 2 | NULL | NULL | bad NULL | x | NULL | 2026-10-02 4 | y | 5 | NULL 結果として、正しいものはどれですか。

  • 両方の条件が適用され、0 行になる
  • how="all" が優先され、4 行がそのまま残る
  • エラーになり、how と thresh のどちらの指定も無効になる
  • thresh が優先され、id が 1 の行と id が 4 の行が残る(正解)

解説

thresh を指定したときは、how より thresh が優先されます。非 null が 3 個未満の行が除かれ、id が 1 の行と id が 4 の行が残ります。 どちらかが優先されます。thresh を指定したときは、how より thresh が優先されます。 thresh を指定したときは、how より thresh が優先されます。 how と thresh を同時に指定してもエラーにはなりません。thresh が優先されます。

他の選択肢が誤りである理由

  • 「両方の条件が適用され、0 行になる」どちらかが優先されます。thresh を指定したときは、how より thresh が優先されます。
  • 「how="all" が優先され、4 行がそのまま残る」thresh を指定したときは、how より thresh が優先されます。
  • 「エラーになり、how と thresh のどちらの指定も無効になる」how と thresh を同時に指定してもエラーにはなりません。thresh が優先されます。

設問2

取引先のファイルが S3 に届くのを、Auto Loader のストリームで常時監視しています。トリガーを書かずに動かしたところ、ストレージの API 費用が想定を大きく上回りました。原因として最も適切なものはどれですか。

  • チェックポイントが複数のクエリで共有され、処理が重複するため
  • Photon が無効のため、ファイルの検出に余分な API が使われるため
  • トリガー未指定は availableNow と同じ動きになり、毎回全ファイルを読み直すため
  • トリガー未指定は間隔 0 で動き、数ミリ秒ごとに確認して API が呼ばれるため(正解)

解説

トリガーを書かないと processingTime が 0 ミリ秒の間隔と同じになり、前のバッチが終わるたびにすぐ次を動かします。クラウドストレージでは確認のたびに API が呼ばれ、回数が費用になります。 チェックポイントの共有は別の問題で、API の呼び出し回数が増える原因として説明されているのは、トリガーの間隔が 0 であることです。 Photon はクエリエンジンの設定で、ストレージの API の呼び出し回数を決めるものではありません。 未指定は availableNow ではありません。また、ストリームは処理済みを追跡するので、全ファイルを毎回読み直すことはありません。

他の選択肢が誤りである理由

  • 「チェックポイントが複数のクエリで共有され、処理が重複するため」チェックポイントの共有は別の問題で、API の呼び出し回数が増える原因として説明されているのは、トリガーの間隔が 0 であることです。
  • 「Photon が無効のため、ファイルの検出に余分な API が使われるため」Photon はクエリエンジンの設定で、ストレージの API の呼び出し回数を決めるものではありません。
  • 「トリガー未指定は availableNow と同じ動きになり、毎回全ファイルを読み直すため」未指定は availableNow ではありません。また、ストリームは処理済みを追跡するので、全ファイルを毎回読み直すことはありません。

設問3

タスクの実行時間のしきい値を設定する画面操作として正しいものはどれですか。

  • ジョブ コンピュートの設定画面で、自動終了の時間にしきい値を入力する
  • タスクの設定画面の Depends on で、Run duration を選んで入力する
  • タスクの設定画面の Metric thresholds で、Metric に Run duration を選んで入力する(正解)
  • ジョブの権限の画面で、CAN MANAGE RUN にしきい値を入力する

解説

実行時間のしきい値は、タスクの設定画面の Metric thresholds で Metric に Run duration を選んで入れます。入力欄は Warning と Timeout の 2 つです。 自動終了はクラスターを止める設定で、タスクの実行時間のしきい値とは別です。 Depends on は上流の依存を選ぶ欄です。 権限の画面はしきい値の入力先ではありません。

他の選択肢が誤りである理由

  • 「ジョブ コンピュートの設定画面で、自動終了の時間にしきい値を入力する」自動終了はクラスターを止める設定で、タスクの実行時間のしきい値とは別です。
  • 「タスクの設定画面の Depends on で、Run duration を選んで入力する」Depends on は上流の依存を選ぶ欄です。
  • 「ジョブの権限の画面で、CAN MANAGE RUN にしきい値を入力する」権限の画面はしきい値の入力先ではありません。

設問4

あるマネージドテーブルを、担当者が誤って DROP TABLE しました。削除から 2 日しかたっていません。テーブルを戻す文はどれですか。

  • ALTER TABLE ... SET MANAGED
  • ALTER TABLE ... UNSET MANAGED
  • MSCK REPAIR TABLE ... SYNC METADATA
  • UNDROP TABLE(正解)

解説

マネージドテーブルを誤って消したときは、UNDROP TABLE で戻します。既定では削除後 7 日間、復元できます。 SET MANAGED は外部テーブルをマネージドテーブルへ変換する文です。削除したテーブルを戻す文ではありません。 UNSET MANAGED は、マネージドテーブルを外部テーブルに戻す文です。削除したテーブルを戻す文ではありません。 この文は、外部テーブルのメタデータを最新にするものです。削除したテーブルを戻す文ではありません。

他の選択肢が誤りである理由

  • 「ALTER TABLE ... SET MANAGED」SET MANAGED は外部テーブルをマネージドテーブルへ変換する文です。削除したテーブルを戻す文ではありません。
  • 「ALTER TABLE ... UNSET MANAGED」UNSET MANAGED は、マネージドテーブルを外部テーブルに戻す文です。削除したテーブルを戻す文ではありません。
  • 「MSCK REPAIR TABLE ... SYNC METADATA」この文は、外部テーブルのメタデータを最新にするものです。削除したテーブルを戻す文ではありません。

設問5

job_run_timeline に、開始と終了が同じ時刻の行になっている実行があります。始まらなかった理由を調べるには、どの列を見ますか。

  • period_end_time
  • job_id
  • run_duration_seconds
  • termination_code(正解)

解説

始まらなかった実行は、開始と終了が同じ時刻の行になります。理由は termination_code を見ます。 period_end_time は、終了の時刻で、開始と同じ時刻になっているだけです。理由は持ちません。 job_id は、ジョブを識別する列で、実行が終わった理由は持ちません。 run_duration_seconds は、実行にかかった時間の列で、始まらなかった理由は持ちません。

他の選択肢が誤りである理由

  • 「period_end_time」period_end_time は、終了の時刻で、開始と同じ時刻になっているだけです。理由は持ちません。
  • 「job_id」job_id は、ジョブを識別する列で、実行が終わった理由は持ちません。
  • 「run_duration_seconds」run_duration_seconds は、実行にかかった時間の列で、始まらなかった理由は持ちません。

続きは、会員登録なしでそのまま50問解けます。採点と解説つきで、上と同じ本物の問題です。

登録なしで50問解く