Granite 13B
L'ancien modèle de fondation pour entreprises d'IBM, avant la génération Granite 3
Granite 13B est l’un des premiers modèles de fondation d’IBM pour sa plateforme d’IA d’entreprise watsonx, annoncé le 7 septembre 2023 avec une famille de modèles Granite destinée à des usages métier plutôt qu’au chat général. Il compte 13 milliards de paramètres, utilise l’attention multi-query avec des embeddings de position appris, et a été entraîné avec le tokenizer de GPT-NeoX-20B d’EleutherAI, ce qui lui donne une fenêtre de contexte de 8 192 tokens. IBM l’a construit pour le résumé de documents, les questions-réponses et la classification de texte dans des secteurs régulés, comme la banque et l’assurance. Il venait avec l’indemnisation habituelle d’IBM pour les clients inquiets du droit d’auteur sur les données d’entraînement, un point qu’OpenAI et Anthropic ne proposaient pas à l’époque. Granite 13B était propriétaire et accessible seulement via watsonx, à la différence de la génération Granite 3, plus tardive, passée à des poids sous licence ouverte sur Hugging Face. Des versions Granite plus récentes l’ont depuis remplacé, à mesure que la gamme d’IA d’entreprise d’IBM allait vers les poids ouverts et une parité de benchmarks plus large avec les modèles courants.