OpenAI Realtime API

L’API Realtime change la façon de construire des applications vocales. Les anciens systèmes enchaînaient reconnaissance vocale, modèle de langage et synthèse vocale, en ajoutant du délai à chaque étape. L’API Realtime gère l’audio en entrée et en sortie directement dans un seul modèle, donc les réponses commencent plus tôt et peuvent inclure le ton, les pauses et les interruptions d’une façon qui sonne naturelle.

Les développeurs se connectent en WebRTC ou WebSockets pour streamer l’audio et recevoir de la parole, du texte et des appels d’outils. Elle prend en charge l’appel de fonctions, donc un agent vocal peut chercher des données ou agir, et on peut s’en servir pour des agents téléphoniques, des assistants dans l’app et la pratique des langues.

L’API est facturée à l’usage et coûte plus cher que les appels texte seuls. Les agents vocaux demandent un soin particulier pour la latence, les interruptions et la sécurité. Parmi les alternatives : l’API Gemini Live de Google, les agents conversationnels d’ElevenLabs, Vapi, Retell AI et Twilio ConversationRelay. L’API Realtime d’OpenAI convient aux développeurs qui construisent des expériences vocales.