ChatGPT Voice

ChatGPT デスクトップアプリの Chat、Work、Codex で、話しながらアイデアを検討したり、タスクを調整したりできます。文字入力に戻らずに、作業の開始、進み具合の確認、方向の変更ができます。話した内容をプロンプトの文字に変えるだけの voice dictation とは異なり、ChatGPT とリアルタイムで会話するための機能です。

ChatGPT Voice は、ChatGPT デスクトップアプリの Chat、Work、Codex で使う音声機能で、GPT-Live を基盤としています。

• 自然な受け答え (natural turn-taking) に対応しており、ChatGPT の応答の途中で割り込む、続けて質問する、話の方向を変える、といった会話ができます。
• ChatGPT が作業を始めた後も話し続けて、進み具合を確認したり、タスクの方向を修正したりできます。
• 既存のタスクで使うと、そのタスクの会話と選択中のモデルで依頼を実行するため、別のタスクを立てずに進み具合を話し合えます。

ChatGPT Voice は ChatGPT とのリアルタイムの会話に使う機能です。話した内容をプロンプトの文字に変換してから送るだけなら、voice dictation を使います。

voice mode で新しいチャットやタスクを始め、ほかのスレッドの作業の開始・確認・方向修正を ChatGPT に頼めます。長めの作業は別のタスクとして始めさせることができ、進み具合、詰まっている点 (blockers)、結果は音声の会話に戻ってくるため、作業が続いている間も会話を続けられます。

また、別の Codex タスクと話したいと頼み、その後で元のタスクに戻るよう頼むこともできます。切り替え先のタスクは、音声に対応し、接続されたホストで利用できる状態である必要があります。

macOS では、Settings > Voice (設定 > 音声) で Screen context をオンにしてから、「Take a look at this.」と話しかけます。ChatGPT は最前面のウィンドウの appshot を撮り、会話の文脈として使います。

appshot には、ウィンドウの画像と、取得できるテキスト (accessible text) が含まれる場合があります。このテキストには、画面に見えているスクロール範囲の外にある内容も含まれる場合があります。

• 以前の音声チャットを再開するには、そのチャットを開いて Start voice chat (音声チャットを開始) を選びます。
• 音声チャットのショートカットは、Settings > Voice > Voice chat hotkey (設定 > 音声 > 音声チャットのホットキー) で設定できます。

• ChatGPT Voice は、デスクトップアプリの Chat、Work、Codex で指示するタスクと同じ権限 (permissions) に従います。
• 最前面のウィンドウの appshot を文脈として使う機能は、組織で無効にできます。
• appshot には、ウィンドウの画像と取得できるテキストが含まれる場合があり、画面に見えていないスクロール範囲外の内容も含まれる場合があります。画面共有を許可するかどうかを判断する際の材料になります。

Voice は Plus、Pro、Business、Edu、Enterprise プランで、デスクトップアプリと iOS の Remote 経由で利用できます。

1. ChatGPT デスクトップアプリで、話し合いたい Codex タスクを開くか、新しいチャットまたはタスクを始めます。
2. 既存のタスクでは Start voice chat (音声チャットを開始)、新しいチャットやタスクでは Start new voice chat (新しい音声チャットを開始) を選びます。
3. 初めて音声チャットを始めるときは、マイクへのアクセスを許可し、声を選びます。macOS では screen context の設定も確認します。
4. 話し始めます。終わったら Stop voice chat (音声チャットを停止) を選びます。