Evals platform (Evals)

評価 (evals) は Evals API でプログラムから設定するほか、OpenAI dashboard でも設定できます。プロンプトを試し、結果を分析して改善を重ねる場面に関わります。

評価 (evals) は、モデルの出力が利用者の指定したスタイルや内容の基準を満たすかをテストする仕組みです。全体の流れは次の 3 段です。

• 行わせたいタスクを評価として記述する
• テスト入力 (プロンプトと入力データ) で評価を実行する
• 結果を分析し、プロンプトの改善を繰り返す

設定は Evals API でプログラムから行うほか、OpenAI dashboard でも行えます。

評価には 2 つの要素が必要です。

• data_source_config:評価で使うテストデータのスキーマです。include_sample_schema を true にすると、テスト基準から sample (プロンプトを与えてモデルが生成した出力) を参照できます。
• testing_criteria:モデルの出力が正しいかを判定する grader です。テストの設定では {{ と }} のテンプレート構文を使って、動的な内容を差し込めます。

作成した評価には UUID が割り当てられます。この UUID は、後で実行を開始するときに評価を指定するために使います。

評価の実行で設定したプロンプトは、データセット内のテストデータ 1 行ごとにモデルの応答を生成するために使われます。プロンプトでは二重波括弧の構文で、現在のテストデータ項目から取り出す item.ticket_text のような動的な変数を埋め込めます。

作成した実行はキューに入り、指定したプロンプトとモデルでデータセットの全行を処理しながら非同期で進みます。実行の成功・失敗・キャンセルの通知を受け取るには、webhook のエンドポイントを作成し、eval.run.succeeded・eval.run.failed・eval.run.canceled のイベントを購読します。

実行の API 応答には、テスト基準ごとの詳細な結果、応答生成の API 使用量、dashboard で結果を視覚的に確認できるページへの report_url が含まれます。

2026 年 6 月 3 日に、reusable prompt objects・Agent Builder とあわせて、Evals platform の非推奨化が発表されています。提供プランや提供地域については、公式のリリースノートには記載がありません。

ここでは Evals API で評価を作成し、実行するまでの流れを示します。

1. API (evals.create) で評価を作成します。テストデータのスキーマである data_source_config と、出力の正しさを判定する grader の testing_criteria を指定します。
2. 評価のスキーマに合う JSONL のテストデータファイルを、OpenAI platform にアップロードします。dashboard から行うか、Files API で purpose を "evals" にしてアップロードします。
3. アップロード時の応答に含まれる一意の id を控えておきます。後の手順で使います。
4. API で評価の実行 (eval run) を作成します。YOUR_EVAL_ID と YOUR_FILE_ID を、作成した評価とテストデータファイルの ID に置き換えます。
5. 評価と評価の実行の両方の UUID を使い、API で実行の現在の状態を取得します。状態は dashboard でも確認できます。