GPT-Live

利用者との音声での会話を GPT-Live が受け持ち、その間にバックエンドのエージェントが情報を調べ、ツールを使い、タスクを進めます。話しながら聞くこと (full duplex) ができ、バックエンドの処理中も会話を続けて、結果が届いた時点でその内容を説明できます。リアルタイムに応答する音声エージェントを API で組み立てる場面で使う機能です。

GPT-Live は、音声での会話と、裏側で情報を調べたりタスクを進めたりするバックエンドの処理を分けて扱う構成です。バックエンドのモデルやエージェントは、音声モデルとは別に選びます。

• Responses delegation: OpenAI がバックエンドのモデルを実行し、会話の文脈と結果を GPT-Live との間で受け渡します。自社の function tools は、引き続きアプリケーション側で実行します。
• client delegation: アプリケーションが動かしている任意のモデル、エージェントのハーネス、サービスをバックエンドとして接続できます。

委譲の方式はセッションの作成時に選びます。方式を変えるときは、新しいセッションを開始します。

利用者がアシスタントの発話をさえぎった場合も、バックエンドの処理は続けられます。その処理を最後まで進めるか取り消すかは、アプリケーション側で決めます。

GPT-Live は次の接続方式に対応しています。

• WebRTC: 音声をメディアトラックで、JSON のイベントをデータチャネルで運びます。
• WebSockets: 代わりに使える接続方式で、1 本の接続で音声と制御イベントを運びます。

このほか、sideband と呼ばれるサーバー側の WebSocket 接続を追加すると、既存のセッションをバックエンドから監視・制御できます。この場合も、音声はセッションの主接続を通ります。

音声セッションの料金は 1 分あたり 0.05 ドルで、秒単位で課金されます。バックエンドのモデルとツールの利用は、これとは別に課金されます。

prompt-to-voice によるプロンプト生成音声の作成は無料です。その音声で発話を生成するときは、通常の GPT-Live セッション料金がかかります。

GPT-Live 1 は API で一般提供されています。prompt-to-voice は、すべての API 顧客向けにリリースされています。対象となるプランについては、公式のリリースノートには記載がありません。

1. GPT-Live がどのような場合にバックエンドへ助けを求めるかを伝える、短い conversation prompt (会話プロンプト) を書きます。
2. quickstart に沿って、ブラウザのマイク、音声の再生、イベントチャネルを接続します。セッションはサーバー側で作成し、ブラウザの接続 offer を answer と交換します。
3. session.started を待ってから話しかけ、返答を聞きます。最新の情報が必要な質問をすると、web search のバックエンドを試せます。
4. 会話を終えたらセッションを閉じます。これで最終的な利用量を取得し、接続を解放します。