AudioLM

AudioLM ist ein Forschungsframework, das Google im September 2022 veröffentlichte. Es behandelt Audiogenerierung als Sprachmodellierungsaufgabe über diskrete Audio-Tokens statt als übliche Regression von Spektrogrammen oder Wellenformen. Es kombiniert zwei Repräsentationen: semantische Tokens von w2v-BERT, einem selbstüberwachten Sprachmodell, erfassen die langfristige Struktur; akustische Tokens des neuronalen SoundStream-Codecs bewahren feine Audiodetails für eine hochwertige Synthese. Das ausschließlich mit Roh-Audio und ohne Texttranskripte oder Annotationen trainierte Modell kann kurze Sprach- oder Klavieraufnahmen so fortsetzen, dass sie über mehrere zehn Sekunden hinweg kohärent bleiben – etwas, womit frühere Audiogenerierungsmethoden Schwierigkeiten hatten. Google brachte es nie als Produkt heraus; es blieb bei einer Forschungsarbeit und einer Demoseite. Google DeepMind nutzte den tokenbasierten Ansatz später als Baustein für Arbeiten wie MusicLM und Teile von Lyria.