BGE-M3
Le modèle d'embeddings à poids ouverts de BAAI, multilingue et à plusieurs granularités
BGE-M3 est un modèle d’embeddings de texte de BAAI, décrit dans un article publié en février 2024. Le nom renvoie à trois choses qu’il fait en même temps : le multilinguisme, sur plus de 100 langues, la prise en charge de plusieurs granularités, avec des entrées jusqu’à 8 192 tokens, et plusieurs fonctions de sortie, puisqu’un seul passage avant produit des vecteurs denses, des poids lexicaux creux et des vecteurs de tokens de style ColBERT. Il compte 568 millions de paramètres, ce qui est modeste à côté des grands LLM, mais il est entraîné pour la recherche et non pour la génération. Cette combinaison lui a permis, à l’époque, de placer les meilleurs résultats sur le benchmark multilingue MIRACL et le benchmark translingue MKQA : un seul modèle pouvait remplacer ce qui demandait auparavant des systèmes de recherche dense et creuse séparés. BAAI l’a publié sous licence MIT sur Hugging Face. Il est très utilisé dans les pipelines RAG qui doivent chercher dans des documents en plusieurs langues, ou dans des documents plus longs que la limite de 512 tokens habituelle des modèles d’embeddings plus anciens, à base de BERT.