Jamba Large 1.6
El modelo principal híbrido transformer-Mamba actualizado de AI21
Jamba Large 1.6 es el modelo de lenguaje principal de AI21 Labs, construido sobre una arquitectura híbrida que combina capas de atención transformer con capas del modelo de espacio de estados Mamba. AI21 lo publicó en marzo de 2025 como parte de la familia Jamba 1.6, junto a un Jamba Mini 1.6 más pequeño. El modelo tiene 398 000 millones de parámetros en total, con solo 94 000 millones activos en inferencia gracias a un diseño de mezcla de expertos, lo que contiene el coste de cómputo y admite una ventana de contexto de 256 000 tokens. AI21 lo dirige a clientes de empresa que necesitan procesar documentos largos, contratos o bases de código sin enviar datos a un tercero, ya que el modelo está disponible para despliegue autoalojado y también por API. En los propios benchmarks de AI21, Jamba Large 1.6 superó a modelos abiertos de Meta, Mistral y Cohere en un abanico de tareas, y corre de forma claramente más rápida que los transformers densos de tamaño parecido, por el tratamiento más eficiente de las secuencias largas que dan las capas Mamba.