Ragas

Ragasは、RAGシステムがどれだけうまく動いているかを測る手助けをします。開発者が質問、取得した文章、生成した回答を渡すと、Ragasが言語モデルを使って採点します。回答がコンテキストの裏づけを持っているか、質問に答えているか、取得したコンテキストが関連していたか、といった点を見ます。

すべてのケースに手作業のラベル付き回答を用意しなくて済むので、評価を素早く進められます。文書から合成のテストセットを作ることもできます。LangChainやLlamaIndexなどのフレームワークや、オブザーバビリティツールと連携します。

Ragasは無料のオープンソースです。言語モデルを審査役にするとその分のばらつきが出るため、スコアは絶対的な真実としてではなく、バージョン同士の比較に使うのが向いています。代替にはTruLens、DeepEval、Arize Phoenix、Braintrust、Promptfooがあります。Ragasは、RAGパイプラインを調整する開発者に向いています。