Computer Use (コンピュータ操作)

コマンドラインツールや構造化された連携では足りない作業に使います。たとえば、デスクトップアプリの確認、ブラウザの利用、アプリ設定の変更、プラグインとして用意されていないデータソースの扱い、GUI でだけ起きる不具合の再現が対象です。

タスクを始めるときは、プロンプトで @Computer または @AppName に触れるか、Computer Use を使うよう ChatGPT に依頼します。依頼では、操作する対象のアプリ、ウィンドウ、操作の流れを具体的に書きます。

• macOS では、Codex が画面を見てクリック・入力し、macOS アプリを操作します。
• Windows では、Codex が前面で画面を見てクリック・入力し、Windows デスクトップアプリを操作します。Computer Use はアクティブなデスクトップ上で動作します。同じ Windows セッションを利用者が使い続けている間、バックグラウンドで操作することはできません。

次の操作は対象外です。

• ターミナルアプリと ChatGPT 自体の自動操作 (ChatGPT のセキュリティポリシーを迂回するおそれがあるためです)
• 管理者としての認証
• コンピュータ上のセキュリティ・プライバシーに関する許可の確認画面への承認

Codex アプリには、初期版のアプリ内ブラウザ (in-app browser) があります。サインインが不要なローカルのページや公開ページを開けます。Codex は、ローカル開発サーバーやファイルベースのページに対して、このアプリ内ブラウザを操作できます。

• Browser use:同梱の Browser プラグインを通じて動作します。設定でプラグインを管理でき、許可・ブロックされたサイトも確認できます。
• Advanced in-app browser annotations:注釈を使って、フォントサイズ・色・余白などのスタイルを直接調整します。
• Developer mode:Chrome と Codex のアプリ内ブラウザでの Browser use に用意されたモードです。Codex に、制御された Chrome DevTools Protocol (CDP) アクセスを与えます。用途は、パフォーマンスのプロファイリングと、ネットワーク通信・コンソール出力・実行時エラー・ページ状態のより詳しいデバッグです。
• ページからの情報の取り出し:Codex は、ページ内のすべての画像アセットをダウンロード・抽出できます。読み取り専用の JS サンドボックスを使って、ページから構造化データを抽出することもできます。

ChatGPT ブラウザ拡張機能 (ChatGPT browser extension) は、Chrome に加えて Microsoft Edge、Brave、Opera、Vivaldi で使えます。ブラウザの設定は、ChatGPT デスクトップアプリの Settings (設定) > Computer Use (コンピュータ操作) で行います。5 つのブラウザはいずれもタブメンションとブラウザ操作に対応しています。ただし、Opera はサイドチャットに対応していません。Chrome 拡張機能は、既存タブを引き継ぐときもタスク終了時も、タブグループを作りません。状態はタブアイコンで示します。

Locked use を使うと、Mac がロックされた後も ChatGPT が Computer Use を使えます。この動作は、利用者が有効にした場合に限ります。Remote computer use として、Codex Mobile 経由でリモートからデスクトップアプリを使う場合も含みます。

1. アプリで Settings (設定) > Computer Use (コンピュータ操作) を開きます。
2. locked use を有効にします。
3. Mac の画面がロックされた後、接続済みのデバイスから Computer Use を使うタスクを始めます。

ロック中の利用は、アクティブで信頼された computer use のターンに限られます。安全策として、次の仕組みがあります。

• 短期間だけ有効な認可
• ディスプレイの覆い
• ローカルでの入力を検知したときの再ロック
• 手動でのロック解除への切り替え

ロック中にローカルのキーボードやポインターの入力を検知すると、ChatGPT は Mac を再ロックします。その後、利用者が手動でロックを解除するまで、自動のロック解除を止めます。

• ワークスペースの管理者は、Computer Use がアクセスできるアプリを制限できます。承認を保存できるかどうかも制限できます。
• 利用者は、Always allow (常に許可) のリストからアプリを外せます。操作する場所は、ChatGPT デスクトップアプリの設定にある Computer Use の項目です。
• Windows では、アプリごとのアクセス制御を設定できます。アプリについての継続的な判断は $CODEX_HOME/config.toml に保存されます。確認なしで開けるアプリは、[computer_use.windows] の always_allowed_app_ids に列挙します。
• Browser use については、設定で Browser プラグインを管理し、許可・ブロックされたサイトを確認できます。

1. ChatGPT デスクトップアプリで Work に切り替えるか、Codex を選びます。
2. Settings (設定) > Computer use (コンピュータ操作) を開き、Control (操作) の下にある Any App (任意のアプリ) を探します。Install (インストール) と表示されていれば選んで案内に従い、スイッチがオフであればオンにします。
3. Computer Use のタスクを始めます。ChatGPT はアプリを使う前に許可を求めます。今後のタスク用に承認したアプリは、同じ設定の Always-allowed apps (常に許可するアプリ) に表示されます。
4. macOS では、求められたときに Screen Recording (画面収録) と Accessibility (アクセシビリティ) の権限を付与します。Screen Recording は対象アプリを見るため、Accessibility はクリック・入力・画面移動のための権限です。