Jamba 1.5 Large

Jamba 1.5 Large ist das Spitzenmodell der Jamba-Familie von AI21 Labs und erschien am 22. August 2024. Es nutzt eine hybride Architektur, die Transformer-Attention-Blöcke und Mamba-Zustandsraumschichten in einem Mixture-of-Experts-Aufbau kombiniert. Insgesamt hat es 398 Milliarden Parameter, von denen bei der Inferenz nur 94 Milliarden aktiv sind. Dadurch kann es ein Kontextfenster von 256.000 Tokens verarbeiten – eines der längsten, die damals ein offen lizenziertes Modell bot –, während Speicherbedarf und Inferenzkosten geringer bleiben als bei einem gleich leistungsfähigen dichten Transformer. Über die API von AI21 kostet es 2 US-Dollar pro Million Eingabetokens und 8 US-Dollar pro Million Ausgabetokens. Außerdem wird es auf Hugging Face und AWS Bedrock unter der Jamba Open Model License von AI21 bereitgestellt. Es richtet sich an Unternehmensaufgaben wie die Analyse langer Dokumente, Zusammenfassungen und Retrieval-Augmented Generation und konkurriert in diesem Bereich mit Modellen wie Mixtral 8x22B und Command R+.