Cerebras
Inférence d'IA très rapide avec une puce à l'échelle du wafer
Cerebras a pris une voie inhabituelle pour le hardware d’IA. Au lieu de découper un wafer de silicium en beaucoup de petites puces, il construit une seule puce énorme à partir du wafer entier, qui contient une quantité énorme de calcul et de mémoire sur la puce. Cette conception réduit les mouvements de données entre puces qui ralentissent les grands modèles, et permet de générer des tokens à très grande vitesse.
L’entreprise vend ses systèmes et exploite un service d’inférence cloud où les développeurs appellent des modèles ouverts via une API, avec des réponses rapides adaptées aux agents, aux outils de code et aux applications en temps réel. Elle a des partenariats avec des labs d’IA et des fournisseurs cloud, et prend en charge l’entraînement comme l’inférence. Les développeurs peuvent essayer l’API avec une offre gratuite, puis payer à l’usage, souvent à des tarifs par token compétitifs.
Cerebras concurrence un domaine dominé par NVIDIA, et son catalogue de modèles est limité par rapport aux fournisseurs cloud généralistes. La capacité et les modèles pris en charge changent, et les gros clients dominent son activité. Les alternatives pour une inférence rapide incluent Groq, SambaNova, Together AI et Fireworks, qui tournent sur d’autres hardware, ainsi que les clouds basés sur NVIDIA. Cerebras convient aux développeurs qui ont besoin d’une latence très basse et aux équipes intéressées par des alternatives aux GPU.