Aquila

Aquila est le premier modèle de langage bilingue ouvert de la Beijing Academy of Artificial Intelligence, publié en 2023 sous la forme d’un modèle de base de 7 milliards de paramètres, entraîné sur du texte chinois et anglais. BAAI l’a construit sur une architecture de type GPT, avec un tokenizer prévu pour traiter le chinois plus efficacement que les tokenizers repris de modèles pensés d’abord pour l’anglais, et la fenêtre de contexte est de 2 048 tokens. La publication comprenait à la fois un modèle de base préentraîné et une variante AquilaChat ajustée pour les instructions, plus un modèle AquilaCode orienté code.

BAAI a publié les poids en accès ouvert sous sa propre licence Aquila, qui autorise un usage commercial sous certaines conditions, et a mis les modèles à disposition via Hugging Face et son propre ModelHub. Aquila faisait partie d’une vague de modèles chinois à poids ouverts sortis en 2023, pour donner aux développeurs du pays des alternatives à des modèles occidentaux comme LLaMA. Dans la gamme de BAAI, la famille Aquila2, plus grande et à contexte plus long, l’a depuis remplacé.