CosyVoice

CosyVoice est un modèle de synthèse vocale et de clonage de voix de l’équipe FunAudioLLM d’Alibaba, publié en poids ouverts en juillet 2024. Il génère de la parole à partir de courts extraits audio de référence : quelques secondes d’échantillon suffisent pour cloner une voix, puis lire un texte quelconque dans cette voix, dans plusieurs langues, dont le chinois, l’anglais, le japonais et le coréen. Le modèle s’appuie sur des tokens sémantiques de parole supervisés, avec une génération de type modèle de langage. Il peut ainsi cloner une voix d’une langue à l’autre, en zero-shot, sans fine-tuning propre au locuteur. Alibaba a poursuivi la gamme, avec CosyVoice 2 puis CosyVoice 3, sur des modèles sous-jacents plus gros et avec une latence plus basse. La version d’origine reste sur Hugging Face et via l’API Model Studio d’Alibaba Cloud, sous licence Apache 2.0.