Baichuan-13B
Le modèle bilingue à poids ouverts de Baichuan, antérieur aux générations Baichuan 2, 3 et 4
Baichuan-13B est un modèle de langage bilingue chinois-anglais que Baichuan Intelligent Technology a publié en juillet 2023, en élargissant le modèle 7B antérieur de l’entreprise. Il compte 13 milliards de paramètres et a été entraîné sur environ 1,4 billion de tokens. L’entreprise disait que c’était 40 % de données d’entraînement de plus que ce qu’avait utilisé le LLaMA-13B de Meta à l’époque. Il existait en checkpoint de base, pour un fine-tuning ultérieur, et en variante Baichuan-13B-Chat alignée pour le dialogue. Les deux étaient distribués sur Hugging Face et GitHub sous une licence communautaire qui autorise l’usage commercial pour les entreprises plus petites. Il précède les familles Baichuan 2, 3 et 4, qui l’ont en grande partie remplacé, mais c’était l’un des premiers LLM chinois à poids ouverts à atteindre l’échelle 13B avec une licence assez permissive pour des essais commerciaux.