Evidently AI

Evidentlyは、モデルが動いているかをチームが知るためのものです。オープンソースのライブラリが指標を計算し、データドリフト、データ品質、モデルの精度、そして言語モデルのアプリケーションでは関連性や安全性といった点について、インタラクティブなレポートを出します。ノートブック、パイプライン、監視サービスとして動かせます。

LLMの作業では、Evidentlyはテストセット、自動ジャッジ、トレーシングによる評価に対応しているので、チームはプロンプトの版を比べ、退行を捉えられます。ホスト型のプラットフォームはダッシュボード、アラート、共同作業を加え、プロジェクトには大きなコミュニティと、MLの可観測性についての教材があります。

オープンソースの中核は無料で、クラウドのプラットフォームには無料と有料の枠があります。意味のある指標としきい値を決めるには検討が要ります。代替にはArize Phoenix、Langfuse、WhyLabs、Fiddler、Deepchecksがあります。Evidentlyは、中身が見えてオープンな監視を求めるMLチームに向いています。