Jurassic-2
La línea anterior de grandes modelos de lenguaje propietarios de AI21
Jurassic-2 es la segunda generación de grandes modelos de lenguaje propietarios de AI21 Labs, anunciada en marzo de 2023 como continuación del Jurassic-1 original. Salió en tres tamaños, Large, Grande y Jumbo (después renombrados Light, Mid y Ultra), todos entrenados con unos 1,2 billones de tokens de texto web, Wikipedia, libros y artículos académicos. AI21 nunca divulgó recuentos exactos de parámetros, aunque se entendía que el modelo de gama alta quedaba en algún punto por encima de los 60 000 millones. La línea estaba dirigida a empresas que construían sobre AI21 Studio, con API específicas de tarea para resumen, paráfrasis y mejora de texto, por encima de los endpoints generales de chat y de completado. Jurassic-2 competía de forma directa con GPT-3.5 en el momento del lanzamiento, pero desde entonces lo han sustituido los modelos Jamba de AI21, que usan una arquitectura híbrida Mamba-Transformer y ventanas de contexto mucho más largas.