Jurassic-1

Jurassic-1 est la première famille de grands modèles de langage d’AI21 Labs, annoncée en août 2021 en même temps que le lancement d’AI21 Studio. La plus grande version, Jurassic-1 Jumbo, a 178 milliards de paramètres, dans la même classe de taille que le GPT-3 d’OpenAI, ce qui en faisait l’un des plus grands modèles de langage publiquement disponibles à la sortie. AI21 a construit Jurassic-1 avec un vocabulaire plus grand que celui de GPT-3, environ 256 000 tokens contre environ 50 000, en utilisant des tokens de plusieurs mots pour représenter les expressions courantes plus efficacement et réduire le nombre de tokens nécessaires pour un texte donné. Il n’était accessible que via l’API d’AI21 Studio, pas en poids ouverts, et AI21 le plaçait comme concurrent direct de GPT-3 pour la génération de texte, le résumé et les questions-réponses. Jurassic-1 est resté le modèle phare d’AI21 jusqu’à son remplacement par Jurassic-2 en 2023, et il a depuis été retiré au profit de la famille Jamba, plus récente.