Jamba 1.5 Mini
El modelo híbrido compacto transformer-Mamba de AI21
Jamba 1.5 Mini es el modelo más pequeño de la familia Jamba 1.5 de AI21 Labs, publicado junto a Jamba 1.5 Large el 22 de agosto de 2024. Comparte la misma arquitectura híbrida de mezcla de expertos Transformer-Mamba, reducida a 52 000 millones de parámetros en total con 12 000 millones activos, y mantiene la misma ventana de contexto de 256 000 tokens que su hermano mayor. En el benchmark Arena Hard obtuvo 46,1, por delante de modelos de tamaño parecido como Claude 3 Haiku, Mixtral 8x22B y Command R+. AI21 lo construyó para usos de negocio sensibles a la latencia, como llamadas a funciones, salida JSON estructurada y generación anclada a fuentes, y lo cobra a 0,20 $ por millón de tokens de entrada y 0,40 $ por millón de tokens de salida por su API. Como Jamba 1.5 Large, se publica bajo la Jamba Open Model License de AI21, con pesos en Hugging Face y disponibilidad en AWS Bedrock.