GPT-4o Realtime
Variante de voz a voz y baja latencia de GPT-4o para conversación en directo
GPT-4o Realtime es una variante de voz a voz de GPT-4o que OpenAI presentó con su Realtime API el 1 de octubre de 2024. En lugar del proceso habitual de transcribir el audio a texto, pasarlo por un modelo de lenguaje y sintetizar de nuevo el habla, procesa el audio de extremo a extremo por una conexión WebSocket o WebRTC, lo que reduce el retardo que hacía que los bots de voz anteriores sonaran rígidos. Impulsa el Advanced Voice Mode de ChatGPT y permite construir agentes telefónicos, asistentes de voz y herramientas de traducción en directo que responden en menos de un segundo. El modelo tiene una ventana de contexto de 32K tokens y cobra 5 $ por millón de tokens de texto de entrada y 20 $ por millón de tokens de texto de salida, con tarifas aparte y más altas para los tokens de audio. Compite con la Gemini Live API de Google y con varias startups centradas en voz que apilan transcripción de la clase Whisper con un modelo de lenguaje, pero su argumento es la arquitectura de un solo modelo y baja latencia, no un proceso ensamblado.