AudioCraft
Open-Source-Framework von Meta für Musik- und Soundeffektgenerierung
AudioCraft ist eine Codebibliothek, die Meta im August 2023 veröffentlichte. Sie bündelt drei generative Audiomodelle: MusicGen für Musik aus Text, AudioGen für Umgebungsgeräusche und EnCodec, den neuronalen Audiocodec, den beide zum Tokenisieren von Wellenformen verwenden. MusicGen ist in mehreren Größen verfügbar (300 Mio., 1,5 Mrd. und 3,3 Mrd. Parameter); Varianten können zusätzlich einer Melodie neben dem Textprompt folgen. AudioGen gibt es als Modell mit 1,5 Milliarden Parametern, das auf Geräusche statt Musik trainiert wurde. Meta veröffentlichte Code und Gewichte unter MIT-Lizenz. Dadurch war AudioCraft eines der ersten vollständig offenen Toolkits für die Generierung von Audio aus Text – im Gegensatz zu geschlossenen Systemen etwa von Google. Die kleineren Checkpoints laufen auf einer einzelnen Consumer-GPU. Die Bibliothek ist zu einer verbreiteten Grundlage für Open-Source-Musikgenerierung und Forschung zu steuerbarer Audiosynthese geworden.