Computer use

フォームの入力、ユーザーフローのテスト、アプリケーション内でのタスクの実行に使えます。Agents API では、エージェントが OpenAI がホストするブラウザの中でタスクを実行します。Web サイトへのアクセス承認とサインインは、利用者のアプリケーション側で扱います。

Computer use をアプリケーションに組み込む方法は、次のとおりです。

• SDK を使う: SDK が Python または Node で Responses のツールループを実行します。アプリケーションは driver (環境を読み取る、または許可された操作を実行するコード) を用意し、セッション、権限、後片付けを管理します。
• ホスト型の環境につなぐ: ブラウザやデスクトップを自前で動かす代わりに、パートナーの環境を使います。
• Responses API を直接使う: ツールループを自分で管理したい場合の方法です。環境を用意し、モデルの要求を実行します。

すでに function calling や remote MCP tools で UI 操作を公開している場合は、そのインターフェースをそのまま使えます。

Responses API を直接使う場合、モデルに画面を操作させる形として、computer ツールと code execution があります。

• computer ツール: モデルが構造化されたマウス・キーボード操作を返し、アプリケーションがそれをブラウザやデスクトップへの入力に変換します。computer_call には、順序付きの actions 配列が入ります。
• code execution: モデルが PyAutoGUI や Playwright などのライブラリを使うコードを書いて画面を操作します。1 回の呼び出しで、複数の操作、ループ、条件分岐を組み合わせられます。モデルにはスクリプトを受け取る function tool を渡し、アプリケーションが隔離されたブラウザまたはデスクトップ環境でスクリプトを実行して、スクリーンショットを含む出力を返します。

• API の会話と実行環境は、状態を別々に持ちます。レスポンスを続けても、ブラウザのセッション、ログイン状態、実行時の変数は復元されません。ツール呼び出しとその出力を会話に残し、対応する環境をアプリケーション側で使える状態に保つ必要があります。
• SDK を使う場合、セッション、権限、後片付けはアプリケーション側の管理です。
• Agents API で OpenAI がホストするブラウザを使う場合も、Web サイトへのアクセス承認とサインインはアプリケーション側で扱います。

2026 年 9 月 29 日に、Agents API に Computer use が追加されました。エージェントは OpenAI がホストするブラウザの中でタスクを実行します。対象となるプランについては、公式のリリースノートには記載がありません。

ここでは、Responses API で computer ツールを使う基本の流れを示します。

1. tools 配列で computer を有効にし、求める結果を記述してタスクを送ります。
2. アクションハンドラーで、モデルが要求した操作をブラウザまたは OS への入力に変換します。許可した操作を順番に実行し、更新後の画面をキャプチャします。
3. 処理した呼び出しと call_id が一致する computer_call_output を返します。previous_response_id を使ってモデルとの会話を続けます。
4. モデルが computer_call を返さなくなるまで繰り返します。残りの出力に回答、支援の依頼、別のツール呼び出しが無いかを確認し、アプリケーション上で結果を確かめます。