Baseten

Baseten fait tourner des modèles pour les entreprises qui construisent des produits d’IA. Une équipe empaquette un modèle, souvent avec l’outil open source Truss, et le déploie comme un endpoint qui monte et descend en charge selon la demande. La plateforme gère le provisionnement des GPU, la mise à l’échelle et la supervision, des corvées qui détournent du produit.

Elle se concentre sur la performance. Des moteurs d’inférence optimisés, des démarrages à froid rapides et la prise en charge des GPU récents aident à servir les modèles avec une faible latence et un coût maîtrisé. Les équipes peuvent déployer des modèles ouverts depuis une bibliothèque, apporter les leurs ou faire du fine-tuning, et utiliser des déploiements dédiés pour un trafic stable. Des options pour tourner dans le cloud du client répondent aux besoins de sécurité.

Baseten est en paiement à l’usage, avec des offres pour les entreprises. Il vise les équipes qui ont des compétences d’ingénierie, pas les utilisateurs occasionnels. Parmi les alternatives : Together AI, Fireworks AI, Modal, Replicate et Amazon SageMaker. Baseten convient aux entreprises qui font tourner des modèles en production.