GCP PDE を持っている人が Databricks Data Engineer Associate を受けるなら

GCP PDE で学んだ考え方のうち、Databricks Data Engineer Associate で同じなのは約 5 問分、深く問われる・動きが違うのは約 12 問分、名前が同じで中身が別なのは約 15 問分、新しいのは約 733 問分です。

栞先生

先に、名前が同じで中身が違う〈冪等性〉から見ていきましょうね。

同じ言葉、違う意味

  • 冪等性はどちらも再実行で結果が変わらない性質。DatabricksのCOPY INTOは読込済みファイルを飛ばして実現
  • 再試行はどちらも失敗のやり直し。Databricksはタスクごと、Google CloudはPub/Subなどに設定

前より深く問われる・動きが違う所

  • 監査ログは、Databricksはシステムテーブルで照会、Google CloudはCloud Loggingで閲覧
  • 実行とタスクの状態はジョブ自体の状態表示、Cloud Monitoringは指標を集め閾値で通知
  • Databricksはプリンシパルに権限を直接付与し、Cloud IAMは権限をロールにまとめて付与する
ほか 3 件を見る
  • UNDROPは削除したテーブルを戻す操作、スナップショットは時点の複製から復元
  • Lakeflow JobsはDatabricks標準のジョブ、Cloud ComposerはAirflowのDAG
  • Databricksのマテリアライズド ビューはパイプラインで更新、事前計算は集計表やBI Engineも使う
Databricks Data Engineer Associate の範囲のうち GCP PDE と重なる所・重ならない所
  • Databricks Intelligence Platform

    同じ 1・違う 1・同名で別物 0・新しい 11

  • データの取り込みとロード

    同じ 1・違う 2・同名で別物 1・新しい 22

  • データ変換とモデリング

    同じ 0・違う 1・同名で別物 0・新しい 25

  • Lakeflow Jobs の利用

    同じ 1・違う 0・同名で別物 1・新しい 14

  • CI/CD の実装

    同じ 0・違う 0・同名で別物 0・新しい 22

  • トラブルシューティング、モニタリング、最適化

    同じ 0・違う 0・同名で別物 0・新しい 17

  • ガバナンスとセキュリティ

    同じ 0・違う 2・同名で別物 0・新しい 14

このページは、先生が覚えているGCP PDEとDatabricks Data Engineer Associateの考え方の一覧から、自動で作っています。数字は問題集の収録内容から数えた見込みで、本番の試験の出題を約束する物ではありません。