GPT-4o Realtime

GPT-4o Realtimeは、OpenAIが2024年10月1日にRealtime APIを通じて発表した、GPT-4oの音声対音声モデルです。音声をテキストに書き起こし、言語モデルに渡し、音声に合成し直す一般的な処理とは異なり、WebSocketまたはWebRTC接続を通じて音声を最初から最後までネイティブに処理します。これにより、従来の音声ボットにあったぎこちなさの原因となる遅延を減らします。ChatGPTの高度な音声モードを支え、1秒未満で応答する電話エージェント、音声アシスタント、リアルタイム翻訳ツールを開発者が作れます。コンテキスト長は32Kトークンで、入力テキストは100万トークンあたり5ドル、出力テキストは20ドルです。音声トークンには別途、より高い料金がかかります。Google Gemini Live APIや、Whisper級の書き起こしとLLMを組み合わせた音声系スタートアップと競合しますが、複数の工程をつなぐ方式ではなく、単一モデルによる低遅延のアーキテクチャが特徴です。