Groq

Groq est connu pour la vitesse. Ses puces, appelées Language Processing Units, ont été conçues de zéro pour faire tourner des modèles d’IA plutôt qu’adaptées du matériel graphique, et elles produisent du texte bien plus vite que les services typiques fondés sur GPU. Ça change les choses pour un chat qui paraît instantané, des assistants vocaux qui ne peuvent pas attendre, et des agents qui font beaucoup d’appels de modèle à la suite. L’entreprise n’est pas un labo de modèles : elle héberge des modèles faits par d’autres.

La plupart des gens arrivent à Groq par GroqCloud, une plateforme développeur avec une API compatible OpenAI. Elle sert des modèles à poids ouverts comme Llama, Qwen et gpt-oss d’OpenAI, ainsi que des modèles de reconnaissance vocale, et elle propose une offre gratuite pour tester et des tarifs à l’usage pour la production. Basculer une application existante se résume souvent à changer l’URL de base et la clé d’API. Les entreprises peuvent aussi acheter de la capacité dédiée.

La vitesse a des contreparties. Le catalogue est limité aux modèles que Groq choisit d’héberger, et les modèles frontier les plus récents ou les plus grands des labos fermés n’y sont pas. La capacité et les limites de débit peuvent être serrées pendant les périodes chargées. L’entreprise a aussi traversé un grand changement après que Nvidia a licencié sa technologie d’inférence et embauché une partie de sa direction, même si GroqCloud devait continuer à opérer de façon indépendante. Cerebras, SambaNova, Together AI et Fireworks sont les alternatives les plus proches.