Jina Embeddings v2

Jina Embeddings v2 est un modèle d’embeddings de texte de Jina AI, sorti en octobre 2023. Il existait en deux tailles principales, une petite version de 33 millions de paramètres et une version de base de 137 millions, toutes deux sur une architecture BERT modifiée qui utilise l’encodage de position ALiBi plutôt que des embeddings positionnels classiques. Ce choix lui permettait des séquences jusqu’à 8 192 tokens, ce qui était rare pour un modèle d’embeddings ouvert à l’époque, et lui permettait de tenir face au text-embedding-ada-002 propriétaire d’OpenAI sur la recherche dans de longs documents, tout en étant bien plus petit. Le modèle est sous licence Apache 2.0, et on peut le faire tourner en local ou y accéder via l’API de Jina. Il a depuis été remplacé par jina-embeddings-v3, qui ajoute le multilingue et des adaptateurs par tâche, mais v2 reste utilisé pour la recherche en anglais, là où sa taille plus petite est un avantage.