Arizeは、デプロイ後にモデルが何をしているかをチームが見られるようにします。従来の機械学習では性能を追い、入力データが学習データから離れてドリフトしたときを検出し、モデルがどの利用者層で失敗しているかの特定を助けます。アラートは、事業へ影響する前に問題をチームへ知らせます。
LLMアプリケーションでは、各リクエストをプロンプト、検索、ツール呼び出しの連鎖に沿ってトレースし、関連性、ハルシネーション、安全性で応答を採点する評価を実行します。これで開発者は、答えがなぜ間違っていたかを見つけ、修正を試せます。同社のオープンソースツールであるArize Phoenixは、ローカルで動かせるトレーシングと評価を備えます。
Arizeには無料とオープンソースの選択肢、それに有料の企業向けプランがあります。自動の判定はぶれやすいので、評価をうまく設定するには検討が要ります。代替にはLangfuse、LangSmith、Weights & Biases Weave、Braintrust、Datadog LLM Observability、Fiddlerがあります。Arizeは、本番でモデルを動かしているMLチームとAIチームに向いています。
