AI-103のサンプル問題（本番形式・解説付き）

解説

Grounding with Bing Search は、エージェントがリアルタイムのWeb検索結果を参照して回答を生成できるようにするグラウンディング機能で、学習データのカットオフを超えた最新情報を扱いたい場合に適しています。「Code Interpreter ツールを実行環境としてエージェントに追加する」は誤りです。Code Interpreter はコードを実行する環境を与えるツールで、Web 検索で最新の情報を取ってくる機能ではありません。「File Search ツールとベクトルストアをエージェントに追加する」は誤りです。File Search はアップロードしたファイルを検索するツールで、最新の Web 情報を取りに行くものではありません。「モデルを context window がより大きいモデルへ切り替える」は誤りです。context window は一度に扱える入力量で、大きくしても最新の Web 情報を取得する機能にはなりません。

解説

マルチモーダル対応はモデルごとの個別の能力であり、「マルチモーダルモデルを使えば全モデルが画像対応になる」というのは誤りです。対応の可否はモデルごとに異なり、選定時に区別して確認する必要があります。「マルチモーダルモデルとは、テキストに加えて画像や音声などの複数の入力形式を、ひとつのモデルでまとめて扱えるモデルのことを指す」は正解になりません。複数の入力形式を 1 つのモデルで扱えるのがマルチモーダルモデルの定義なので、正しい説明です。「コードモデルは、プログラミング言語のコーパスを重点的に学習しており、コードの補完や生成といったタスクに強みを持っている」は正解になりません。コードを重点的に学習したモデルは補完や生成に強いので、正しい説明です。「モデルカタログでは、すべてのモデルが画像入力に対応しているわけではないため、テキスト専用モデルとマルチモーダル対応モデルを区別して選ぶ」は正解になりません。画像入力への対応はモデルによって異なり、区別して選ぶ必要があるので、正しい説明です。

解説

背景を透けさせるには background を transparent にします（gpt-image-1 だけの指定で、PNG の出力が要ります）。output_compression は JPEG のときだけ効く圧縮の強さです。

解説

音声をテキストに変換する過程では、声のトーンや強調、間の取り方といった情報が失われやすい一方、音声を直接扱うマルチモーダル推論ではそうした特徴を保持したまま理解できる可能性がある点が大きな違いです。「2段構成は2回の呼び出しが要るため、マルチモーダル推論より音声の内容や話し手の意図を正確に理解できる」は誤りです。呼び出しが多いことは理解の正確さを示さず、テキスト化の過程で声のトーンなどの情報が落ちうる点はむしろ 2 段構成の弱みです。「マルチモーダル推論は音声をテキスト化する工程を省けるため、2段構成より低コストになる」は誤りです。コストの優劣は用途・モデル・リクエストの規模によって変わり、工程が少ないことで安くなるとは言えません。「マルチモーダル推論では音声の特徴が内部で失われるため、声のトーンや強調を踏まえる用途では、STTでテキスト化する2段構成の方が正確に理解できる可能性がある」は誤りです。説明が逆です。テキスト化で声のトーンなどが失われうるのは 2 段構成の方です。

解説

本番運用中の生成AIシステムには、モデルの性能・ドリフト・安全性イベントを継続的に監視する仕組みと、データ取り込みの品質・検索インデックスの健全性・関連性のパフォーマンスを監視する仕組みの両方が必要です。デプロイ時の1回限りの確認やコストのみの監視、インデックス品質を確かめないこと、年1回の抜き取り確認では、運用中に生じる問題を継続的に検知できません。「モデルの応答から毎月数件を抜き出し、担当者が目視で品質を確認する」は誤りです。月に数件の目視では、本番で起きるドリフトや安全性イベントを継続的に捉えるには件数も頻度も足りず、検索インデックスの品質も見ていません。「トークン使用量とコストを Azure Monitor のダッシュボードで継続的に監視する」は誤りです。トークンとコストの監視は費用の管理で、モデルの挙動の変化や検索インデックスの品質の監視にはなりません。「検索インデックスは構築時に関連性を評価し、その結果を基準として運用中は再評価しない」は誤りです。データは運用中に変わるため、構築時の評価だけではグラウンディングの品質の低下に気づけません。「モデルの評価はデプロイ前のテストで十分に行い、本番ではエラー率だけを監視する」は誤りです。エラー率だけでは、運用開始後に生じるモデルのドリフトや安全性イベントの変化を捉えられません。