CosyVoice

CosyVoiceはAlibabaのFunAudioLLMチームによる音声合成と音声クローンのモデルで、2024年7月にオープンウェイトとして公開されました。短い参照音声から音声を生成するので、数秒のサンプルがあれば声をクローンし、その声で任意のテキストを読み上げられます。対応言語は中国語、英語、日本語、韓国語など複数です。教師あり学習の意味的な音声トークンと、言語モデル型の生成方式を組み合わせており、話者ごとのファインチューンなしで、言語をまたぐクローンやゼロショットのクローンができます。Alibabaはその後もシリーズを更新し、より大きなベースモデルと低いレイテンシを備えたCosyVoice 2とCosyVoice 3を公開しました。初代はApache 2.0ライセンスのもと、Hugging FaceとAlibaba CloudのModel Studio APIから引き続き使えます。