BGE-M3

BGE-M3 ist ein Text-Embedding-Modell von BAAI, das in einer im Februar 2024 veröffentlichten Arbeit beschrieben wurde. Der Name verweist auf drei Eigenschaften: Mehrsprachigkeit mit über 100 Sprachen, mehrere Eingabegranularitäten bis zu 8192 Tokens und mehrere Funktionen. In einem einzigen Durchlauf erzeugt das Modell dichte Vektoren, sparsame lexikalische Gewichte und Tokenvektoren im ColBERT-Stil. Es hat 568 Millionen Parameter – wenig im Vergleich zu großen LLMs –, wurde jedoch gezielt für Retrieval statt für Generierung trainiert. Dadurch erzielte es damals Spitzenwerte beim mehrsprachigen MIRACL- und beim sprachübergreifenden MKQA-Benchmark. Ein einziges Modell konnte so separate dichte und sparsame Retrieval-Systeme ersetzen. BAAI veröffentlichte es unter MIT-Lizenz auf Hugging Face. Es kommt häufig in RAG-Pipelines zum Einsatz, die Dokumente in mehreren Sprachen oder längere Texte durchsuchen müssen, welche die bei früheren BERT-Embedding-Modellen übliche Grenze von 512 Tokens überschreiten.