AWS MLA-C01のサンプル問題（本番形式・解説付き）

解説

検証済み形式はファイル自身がスキーマ(列名・データ型)を持つ形式で、Apache Parquet・Apache ORC・Apache Avro が該当する。CSV と JSON は非検証形式でスキーマを持たず、読む側が型を推測するため、これらを含む組み合わせは方針を満たさない。RecordIO はレコード連結のバイナリコンテナで、スキーマを持つ形式として本文に挙げられていない。

解説

本文は「Avro は列指向」を誤りと明記し、列指向は Parquet と ORC、Avro は行指向としている。したがって Avro を列指向に含める説明は誤りである。ORC を行指向やテキスト形式として扱う説明も誤りで、ORC は列指向のバイナリ形式である。

解説

Avro は行指向でスキーマをファイルに同梱するため、スキーマ進化が必要なストリーミングのシリアライズに向く。Parquet と ORC は列指向で、必要な列だけを読む集計に向く形式であり、レコード全体を丸ごと扱う用途の分かれ目にはならない。CSV はスキーマを持たないため、スキーマ進化の要件を満たさない。

解説

本文は、protobuf recordIO 形式では SageMaker AI がデータセットの各観測値を4バイト浮動小数点数の集合としてバイナリ表現に変換し、protobuf の values フィールドへ格納すると述べている。8バイトやテキスト表現とする説明は数値も表現も本文と異なる。列単位の符号化は Parquet や ORC の性質で、1行1 JSON は JSON Lines の性質である。

解説

本文は application/x-recordio(protobuf でない方)を Object Detection アルゴリズムが受け付けると明記している。application/x-recordio-protobuf は Factorization Machines や Linear Learner などが受け付ける形式である。application/jsonlines は BlazingText・DeepAR の入力、text/libsvm は XGBoost の入力として挙げられている。