DeepInfra héberge des modèles ouverts et vend l’accès au token ou à l’usage. Un développeur choisit un modèle dans son catalogue, qui inclut des modèles de chat, des embeddings, des générateurs d’images et des outils de parole, et l’appelle avec une API compatible avec le format d’OpenAI. L’entreprise gère les GPU, la montée en charge et l’optimisation.
L’attrait, c’est le prix et la simplicité. Comme les modèles ouverts sont largement disponibles, les hébergeurs se concurrencent sur le coût et la vitesse, et DeepInfra se place dans le bas de la fourchette. Les développeurs peuvent aussi déployer des modèles personnalisés ou des versions ajustées par fine-tuning dans certains cas, et utiliser des GPU dédiés pour des charges stables.
DeepInfra n’a pas de frais mensuels pour l’usage de base et facture à l’usage. La disponibilité des modèles suit ce que la communauté ouverte publie, donc il n’a pas les modèles fermés des grands labos, et la fiabilité varie avec la demande. Les alternatives incluent Together AI, Fireworks AI, Groq, OpenRouter et Replicate. DeepInfra convient aux développeurs qui veulent un accès peu cher à des modèles ouverts.