LlamaIndex

LlamaIndex a commencé comme une bibliothèque open source pour relier des modèles de langage à des données privées, et c’est toujours son métier de base. Il aide à charger des informations depuis des fichiers, des bases de données, des API et des apps comme Notion et Slack, à les découper, à les indexer, et à retrouver les parties pertinentes quand on pose une question. Ce schéma de génération augmentée par la recherche (RAG) est la façon dont beaucoup de chatbots d’entreprise répondent à partir de documents internes plutôt qu’à partir des connaissances générales du modèle.

L’attention de l’entreprise s’est déplacée vers le traitement de documents et les agents. LlamaParse est un service hébergé qui transforme des PDF désordonnés, des tableaux, des diapositives et des scans en texte propre et en données structurées, avec des outils pour extraire des champs, découper et classer des documents, et construire un index. Un analyseur local et open source existe aussi. Workflows est un framework pour construire des agents et des processus en plusieurs étapes, et LlamaCloud regroupe les services gérés pour les équipes qui ne veulent pas tout faire tourner elles-mêmes.

Le framework open source est gratuit. Les services cloud utilisent des crédits, avec une allocation mensuelle gratuite et des offres payantes, plus des options entreprise avec déploiement en cloud privé et support. Par rapport à LangChain, LlamaIndex est plus centré sur l’ingestion de données et la recherche, même si les deux se recoupent. La justesse sur des documents désordonnés dépend de la qualité de l’analyse, et c’est là que LlamaIndex met son effort. Unstructured, Haystack et Azure Document Intelligence sont les autres options pour le travail d’IA lourd en documents.