LlamaIndexは、言語モデルを非公開のデータにつなぐオープンソースのライブラリとして始まり、それは今も中心の役割です。ファイル、データベース、API、NotionやSlackなどのアプリから情報を読み込み、断片に分割してインデックスを作り、ユーザーが質問したときに関連する部分を取り出すのを助けます。この検索拡張生成のパターンによって、多くの社内向けチャットボットが、モデルの一般的な知識ではなく、社内文書をもとに答えています。
会社の関心は、ドキュメント処理とエージェントに移りました。LlamaParseはホスト型のサービスで、乱雑なPDF、表、スライド、スキャンを、きれいなテキストと構造化データに変えます。フィールドの抽出、ドキュメントの分割と分類、インデックスの構築のためのツールもあります。ローカルで動くオープンソースのパーサーも利用できます。Workflowsは、エージェントと複数ステップの処理を作るためのフレームワークで、LlamaCloudは、すべてを自分で運用したくないチーム向けに、マネージドサービスをまとめたものです。
オープンソースのフレームワークは無料です。クラウドサービスはクレジットを使い、毎月の無料の割り当てと有料プランがあるほか、プライベートクラウドのデプロイとサポートを備えた企業向けのオプションもあります。LangChainと比べると、LlamaIndexはデータの取り込みと検索により重点を置いていますが、両者は重なります。乱雑なドキュメントでの精度は解析の品質で決まり、LlamaIndexが力を入れているのはそこです。ドキュメントが中心のAI作業では、Unstructured、Haystack、Azure Document Intelligenceがほかの選択肢です。
