Appshots

パソコンで別のアプリを使って作業しているときに、その場の状況を ChatGPT に渡して作業を手伝ってもらうための機能です。送られる appshot には、ウィンドウの画像と、そのウィンドウから取得できるテキストが含まれます。

appshot が取り込むのは、最前面のウィンドウだけです。含まれるのは次の 2 つです。

• 表示中のウィンドウの画像
• そのウィンドウから取得できるテキスト (見えているテキストと、アプリが表示範囲の外でも提供しているテキスト)

チャットに追加した appshot は、添付ファイルと同じように扱われます。ChatGPT は、手動で添付したファイルや画像と同じく、appshot をセッションファイルにローカルで保存します。

Google Docs、Gmail、Google Sheets、Google Slides など一部のアプリやウェブサイトでは、ChatGPT が受け取るのが表示中のスクリーンショットだけになり、文書全体や画面外のテキストを受け取らない場合があります。

初期設定では、ChatGPT は appshot ごとに新しいチャットを始めます。直近 60 秒以内に操作したチャットがある場合は、そのチャットに appshot を追加します。続けて appshot を撮ると、同じチャットに追加されます。

アプリの設定の Appshot destination (Appshot の送信先) では、Current chat (現在のチャット) か New chat (新しいチャット) を選んで送信先を固定できます。上記の動作のままにする場合は Automatic (自動) にしておきます。

macOS では、appshot をフローティングの Pets コントロールに送ることもできます。フローティングの Pets コントロールを開き、ChatGPT のメインウィンドウを背面に置いた状態で送信先が Automatic になっていると、そのコントロールから appshot 付きの新しいチャットが始まります。

CLI で appshot を含むチャットを再開した場合、その添付はチャット履歴の一部として残りますが、CLI から新しい appshot は作れません。

appshot を撮ると、取り込まれた画像と取得可能なテキストが ChatGPT と共有されます。macOS では、次の 2 つの権限を使います。

• Screen & System Audio Recording (画面とシステムオーディオの録音): 最前面のウィンドウの画像を取り込むための権限です。
• Accessibility (アクセシビリティ): 最前面のウィンドウから取得可能なテキストを読み取るための権限です。

appshot が動かない場合は、次の順に確認します。

1. デスクトップアプリを更新し、設定したショートカットキーを確認し、組織が Appshots を許可していることを確認します。
2. macOS では System Settings (システム設定) > Privacy & Security (プライバシーとセキュリティ) を開きます。
3. Codex Computer Use について、Screen & System Audio Recording と Accessibility を確認します。
4. アプリを再起動して、もう一度試します。

1. 共有したいアプリのウィンドウを最前面に表示します。
2. macOS では両方の Command キー、Windows では両方の Alt キーを押します。ChatGPT の設定で独自のショートカットキーを設定している場合は、そのキーを使います。
3. ChatGPT から求められた場合は、権限の設定を済ませます。
4. 送った appshot を使って、ChatGPT に作業を依頼します。