Databricks Data Engineer Associate を持っている人が GCP PDE を受けるなら

Databricks Data Engineer Associate で学んだ考え方のうち、GCP PDE で同じなのは約 11 問分、深く問われる・動きが違うのは約 43 問分、名前が同じで中身が別なのは約 19 問分、新しいのは約 548 問分です。

栞先生

Databricks Data Engineer Associate をお持ちなら、知っている所は確かめだけで済みます。先に、名前が同じで中身が違う〈再試行〉から見ていきましょうね。

同じ言葉、違う意味

  • 再試行は両者とも失敗した処理のやり直し。障害の波及を防ぐのは遮断などを含む設計全体の働き
  • 冪等性はどちらも繰り返しても結果が同じ性質。DatabricksはCOPY INTOがファイル単位で実現する

前より深く問われる・動きが違う所

  • 監査ログは、Databricksはシステムテーブルで照会、Google CloudはCloud Loggingで閲覧
  • 実行とタスクの状態はジョブ自体の状態表示、Cloud Monitoringは指標を集め閾値で通知
  • Databricksはプリンシパルに権限を直接付与し、Cloud IAMは権限をロールにまとめて付与する
ほか 3 件を見る
  • UNDROPは削除したテーブルを戻す操作、スナップショットは時点の複製から復元
  • Lakeflow JobsはDatabricks標準のジョブ、Cloud ComposerはAirflowのDAG
  • Databricksのマテリアライズド ビューはパイプラインで更新、事前計算は集計表やBI Engineも使う
GCP PDE の範囲のうち Databricks Data Engineer Associate と重なる所・重ならない所
  • データ処理システムの設計

    同じ 0・違う 4・同名で別物 0・新しい 37

  • データの取り込みと処理

    同じ 1・違う 0・同名で別物 0・新しい 19

  • データの保存

    同じ 1・違う 0・同名で別物 0・新しい 13

  • 分析のためのデータ準備と活用

    同じ 0・違う 1・同名で別物 0・新しい 10

  • データワークロードの維持と自動化

    同じ 0・違う 2・同名で別物 2・新しい 15

このページは、先生が覚えているDatabricks Data Engineer AssociateとGCP PDEの考え方の一覧から、自動で作っています。数字は問題集の収録内容から数えた見込みで、本番の試験の出題を約束する物ではありません。