Jamba Large 1.6
Aktualisiertes hybrides Transformer-Mamba-Flaggschiffmodell von AI21.
Jamba Large 1.6 ist das Spitzenmodell von AI21 Labs. Seine hybride Architektur verbindet Transformer-Attention-Schichten mit Mamba-Zustandsraummodell-Schichten. AI21 veröffentlichte es im März 2025 als Teil der Jamba-1.6-Familie zusammen mit dem kleineren Jamba Mini 1.6. Das Modell hat 398 Milliarden Parameter insgesamt, aber dank Mixture-of-Experts-Architektur nur 94 Milliarden aktive zur Inferenz. Das senkt den Rechenaufwand und ermöglicht zugleich ein Kontextfenster von 256.000 Tokens. AI21 richtet es an Unternehmenskunden, die lange Dokumente, Verträge oder Codebasen verarbeiten müssen, ohne Daten an Dritte zu senden. Das Modell kann selbst gehostet oder über eine API genutzt werden. In eigenen Benchmarks übertraf Jamba Large 1.6 offene Modelle von Meta, Mistral und Cohere bei verschiedenen Aufgaben. Dank der Mamba-Schichten verarbeitet es lange Sequenzen deutlich schneller als ähnlich große dichte Transformer.