Granite 13B
IBMs früheres Unternehmensmodell, Vorgänger der Granite-3-Generation
Granite 13B gehört zu den ersten Grundlagenmodellen von IBM für die Unternehmens-KI-Plattform watsonx. Es wurde am 7. September 2023 zusammen mit einer auf geschäftliche Anwendungsfälle statt auf allgemeine Chats ausgerichteten Granite-Familie angekündigt. Das Modell hat 13 Milliarden Parameter, verwendet Multi-Query-Attention mit erlernten Positionsembeddings und wurde mit dem Tokenizer von EleutherAIs GPT-NeoX-20B trainiert. Das ergibt ein Kontextfenster von 8192 Tokens. IBM entwickelte es für Aufgaben wie Dokumentenzusammenfassung, Fragebeantwortung und Textklassifizierung in regulierten Branchen wie Banken und Versicherungen. Für Kunden, die sich wegen möglicher Urheberrechtsansprüche an Trainingsdaten sorgten, bot IBM seine übliche Freistellung an – ein Verkaufsargument, das OpenAI und Anthropic damals nicht anboten. Granite 13B war proprietär und nur über watsonx zugänglich. Damit unterschied es sich von der späteren Granite-3-Generation, bei der IBM auf offen lizenzierte Gewichte auf Hugging Face setzte. Neuere Granite-Versionen haben es inzwischen abgelöst, während IBMs Unternehmens-KI stärker auf offene Gewichte und eine breitere Benchmark-Parität mit gängigen Modellen ausgerichtet wurde.