Jurassic-2
Ancienne gamme de grands modèles de langage propriétaires d'AI21
Jurassic-2 est la deuxième génération de grands modèles de langage propriétaires d’AI21 Labs, annoncée en mars 2023 comme suite au Jurassic-1 d’origine. Il est sorti en trois tailles, Large, Grande et Jumbo (plus tard renommées Light, Mid et Ultra), toutes entraînées sur environ 1,2 billion de tokens de texte web, de Wikipédia, de livres et d’articles académiques. AI21 n’a jamais divulgué les nombres exacts de paramètres, même si le modèle du haut était compris comme situé quelque part au-dessus de 60 milliards de paramètres. La gamme visait les entreprises qui construisaient sur AI21 Studio, avec des API spécialisées pour le résumé, la reformulation et l’amélioration de texte, par-dessus les points d’accès généraux de chat et de complétion. Jurassic-2 concurrençait directement GPT-3.5 à la sortie, mais il a depuis été remplacé par les modèles Jamba d’AI21, qui utilisent une architecture hybride Mamba-Transformer et des fenêtres de contexte bien plus longues.