Realtime APIは、音声アプリの作り方を変えます。従来のシステムは、音声認識、言語モデル、音声合成をつないでおり、各段階で遅延が生じていました。Realtime APIは、1つのモデルで音声の入力と出力を直接扱うので、応答が早く始まり、口調、間、割り込みも自然に表現できます。
開発者はWebRTCまたはWebSocketsで接続し、音声をストリーミングして、音声、テキスト、ツール呼び出しを受け取ります。関数呼び出しに対応しているため、音声エージェントがデータを調べたり操作したりでき、電話エージェント、アプリ内アシスタント、語学練習などに使えます。
APIは従量課金で、テキストのみの呼び出しより高くなります。音声エージェントでは、遅延、割り込み、安全性に注意が必要です。代替には、GoogleのGemini Live API、ElevenLabsの会話エージェント、Vapi、Retell AI、Twilio ConversationRelayがあります。OpenAI Realtime APIは、音声体験を作る開発者に向いています。
