Soumettre un outil

Jamba 1.5 Mini

Modèle hybride compact transformeur-Mamba d'AI21

Gratuit Langage
Voir la page produit →
256000 tokens de contexte
52B (12B active) paramètres
Jamba Open Model License licence
août 2024 sortie

Jamba 1.5 Mini est le plus petit modèle de la famille Jamba 1.5 d’AI21 Labs, sorti en même temps que Jamba 1.5 Large le 22 août 2024. Il reprend la même architecture hybride Transformer-Mamba en mélange d’experts, ramenée à 52 milliards de paramètres au total dont 12 milliards actifs, et il garde la même fenêtre de contexte de 256 000 tokens que le grand modèle. Sur le benchmark Arena Hard, il a obtenu 46,1, devant des modèles de taille proche comme Claude 3 Haiku, Mixtral 8x22B et Command R+. AI21 l’a conçu pour des usages métier sensibles à la latence, comme les appels de fonctions, la sortie JSON structurée et la génération ancrée, et le tarife à 0,20 $ par million de tokens d’entrée et 0,40 $ par million de tokens de sortie via son API. Comme Jamba 1.5 Large, il est sous la Jamba Open Model License d’AI21, avec les poids sur Hugging Face et une disponibilité sur AWS Bedrock.