Baichuan 2
Le modèle de fondation bilingue à poids ouverts de Baichuan
Baichuan 2 est la deuxième génération de modèles de langage à poids ouverts de Baichuan Intelligent Technology, publiée en septembre 2023. Elle est sortie en 7B et en 13B, chaque taille avec des variantes base et chat, et a été entraînée sur 2,6 billions de tokens bilingues chinois-anglais, environ le double de ce qu’avaient vu les premiers modèles Baichuan. Baichuan indiquait que le modèle 7B gagnait près de 30 % sur MMLU par rapport au Baichuan 1 de même taille, et la famille se plaçait bien sur les benchmarks en chinois comme C-Eval et CMMLU, face aux autres modèles ouverts disponibles à l’époque. Les poids sont distribués sous Apache 2.0 pour le code, plus une licence communautaire séparée pour le modèle, qui autorise un usage commercial gratuit tant que l’entreprise qui déploie reste sous un million d’utilisateurs actifs par jour et n’est pas elle-même un service cloud ou logiciel qui revend le modèle. Baichuan 3 et Baichuan 4 l’ont depuis remplacé, en passant à un accès fermé, seulement par API.