DatabricksはApache Sparkから始まり、データ作業のための統合プラットフォームに広がりました。企業は自社のクラウドにオープンな形式でデータを置き、Databricksでパイプライン、SQL分析、ノートブック、機械学習を行います。その全体のアクセスを制御し、リネージを追跡するガバナンスの層がUnity Catalogです。
AIが訴求の中心になっています。このプラットフォームは、モデルの学習とファインチューン、エンドポイントを通じた提供、検索のためのベクトル検索、企業データに基づくエージェントを作る枠組みに対応しています。同社はモデル学習を強めるためにMosaicMLを買収し、AIシステムを監視し評価するツールもあります。コードとクエリを書くのを助けるアシスタントもあります。
Databricksは従量課金で、AWS、Azure、Google Cloud上で動きます。できることは多い一方で複雑で、費用は監視が必要です。代替にはSnowflake、Google BigQuery、Microsoft Fabric、Amazon Redshift、Dataikuがあります。Databricksは、大規模なデータを扱うデータとAIのチームに向いています。
