Aya 23

Aya 23 es una familia de modelos de lenguaje multilingües que Cohere For AI, el laboratorio de investigación de Cohere, publicó en mayo de 2024. Cubre 23 idiomas, entre ellos árabe, chino, hindi, japonés, ruso y español, además del inglés. Salió en dos tamaños, 8B y 35B de parámetros, ambos construidos sobre la arquitectura Command de Cohere e inicializados a partir de un checkpoint preentrenado antes de un entrenamiento multilingüe adicional. La versión de 35B es la que se sigue aquí, con una ventana de contexto de 8192 tokens pensada para recuperación y seguimiento de instrucciones en idiomas que los modelos abiertos centrados en el inglés suelen atender peor. Cohere publicó los pesos bajo licencia CC-BY-NC 4.0 con un anexo de uso aceptable, así que es gratuito para investigación y uso no comercial, pero exige un acuerdo comercial aparte para desplegarlo en producción. Siguió al proyecto Aya original, centrado en datos y evaluación para 101 idiomas, y estrechó el alcance a un conjunto menor de idiomas a cambio de más calidad en cada uno.