CosyVoice

CosyVoice ist ein Text-to-Speech- und Voice-Cloning-Modell des FunAudioLLM-Teams von Alibaba, das im Juli 2024 mit offenen Gewichten veröffentlicht wurde. Es erzeugt Sprache anhand kurzer Referenzaufnahmen und kann eine Stimme bereits aus wenigen Sekunden Audiomaterial klonen. Anschließend spricht es beliebige Texte in dieser Stimme und unterstützt dabei mehrere Sprachen, darunter Chinesisch, Englisch, Japanisch und Koreanisch. Das Modell kombiniert überwachte semantische Sprach-Tokens mit einem Sprachmodell-ähnlichen Generierungsverfahren. So sind sprachübergreifendes und Zero-Shot-Voice-Cloning ohne ein sprecherspezifisches Fine-Tuning möglich. Alibaba hat die Reihe mit CosyVoice 2 und CosyVoice 3 fortgeführt, die größere Basismodelle und geringere Latenz bieten. Die ursprüngliche Version ist weiterhin auf Hugging Face und über die Model-Studio-API von Alibaba Cloud unter Apache 2.0 verfügbar.