Databricks a commencé avec Apache Spark et est devenu une plateforme unifiée pour le travail sur les données. Les entreprises stockent les données dans des formats ouverts dans leur cloud, puis utilisent Databricks pour les pipelines, l’analytique SQL, les notebooks et le machine learning, avec une couche de gouvernance appelée Unity Catalog qui contrôle l’accès et suit la lignée sur l’ensemble.
L’IA est devenue centrale dans le discours. La plateforme prend en charge l’entraînement et le fine-tuning de modèles, leur mise à disposition via des endpoints, la recherche vectorielle pour le retrieval, et un framework pour construire des agents ancrés dans les données d’entreprise. L’entreprise a racheté MosaicML pour renforcer l’entraînement de modèles, et propose des outils pour superviser et évaluer les systèmes d’IA. Un assistant aide à écrire du code et des requêtes.
Databricks est facturé à l’usage et fonctionne sur AWS, Azure et Google Cloud. Il est capable mais complexe, et les coûts demandent une surveillance. Les alternatives incluent Snowflake, Google BigQuery, Microsoft Fabric, Amazon Redshift et Dataiku. Databricks convient aux équipes données et IA qui travaillent avec de gros volumes de données.
// alternatives à Databricks tout voir →
