GPT-4o Realtime

GPT-4o Realtime ist eine Sprach-zu-Sprach-Variante von GPT-4o, die OpenAI am 1. Oktober 2024 über die Realtime-API einführte. Statt Audio erst in Text umzuwandeln, durch ein Sprachmodell zu schicken und anschließend Sprache zu erzeugen, verarbeitet das Modell Audio nativ von Anfang bis Ende über WebSocket oder WebRTC. Das verringert die Verzögerung, durch die frühere Sprachbots stockend wirkten. Es treibt den erweiterten Sprachmodus von ChatGPT an und ermöglicht Entwickler:innen Telefonagenten, Sprachassistenten und Live-Übersetzung mit Antworten in weniger als einer Sekunde. Das Modell hat ein Kontextfenster von 32.000 Tokens und kostet fünf US-Dollar pro Million eingehender Text-Tokens sowie 20 US-Dollar pro Million ausgegebener Text-Tokens; Audiotokens haben eigene, höhere Preise. Es konkurriert mit Googles Gemini Live API und Sprach-Start-ups, die Whisper-ähnliche Transkription mit einem Sprachmodell kombinieren. Der Vorteil ist die Architektur aus einem Modell mit niedriger Latenz statt einer verketteten Pipeline.