AudioLM

AudioLM es un framework de investigación que Google publicó en septiembre de 2022. Trata la generación de audio como un problema de modelado de lenguaje sobre tokens de audio discretos, en lugar de los enfoques habituales de regresión sobre espectrogramas o formas de onda. Combina dos representaciones: tokens semánticos de w2v-BERT, un modelo de habla auto-supervisado, que capturan la estructura a largo plazo, y tokens acústicos del códec neuronal SoundStream, que conservan el detalle fino del audio para una síntesis de alta calidad. Entrenado solo con audio en bruto, sin transcripciones ni anotaciones, puede continuar unos segundos de habla o de piano de un modo que se mantiene coherente durante decenas de segundos, algo con lo que los métodos anteriores de generación de audio tenían dificultades. Google nunca lo publicó como producto: se quedó en un artículo de investigación y una página de demostración, y Google DeepMind usó su enfoque basado en tokens como pieza de trabajos posteriores como MusicLM y partes de Lyria.