AudioCraft

AudioCraftは、Metaが2023年8月に公開したコードライブラリで、3つの音声生成モデルをまとめています。テキストから音楽を生成するMusicGen、環境音の効果音を作るAudioGen、波形をトークン化するために両者が使うニューラル音声コーデックのEnCodecです。MusicGenは複数のサイズ（3億、15億、33億パラメータ）があり、テキストのプロンプトに加えてメロディにも従える版もあります。AudioGenは、音楽ではなく効果音で学習した15億パラメータのモデルです。Metaはコードと重みをMITライセンスで公開し、Googleなどの企業のクローズドなシステムとは対照的に、AudioCraftはテキストから音声を生成する最初期の完全オープンなツールキットの1つになりました。小さいチェックポイントなら一般向けGPU1枚で動き、オープンソースの音楽生成プロジェクトや、制御可能な音声合成の研究でよく使われる土台になっています。