AudioCraft

AudioCraft es una biblioteca de código que Meta publicó en agosto de 2023 y que agrupa tres modelos generativos de audio: MusicGen para generar música a partir de texto, AudioGen para efectos de sonido ambientales y EnCodec, el códec de audio neuronal del que ambos dependen para convertir las formas de onda en tokens. MusicGen llega en varios tamaños (300M, 1,5B y 3,3B de parámetros), con variantes que también pueden seguir una melodía junto a un prompt de texto, mientras que AudioGen se distribuye como un modelo de 1,5B de parámetros entrenado con efectos de sonido y no con música. Meta publicó el código y los pesos bajo licencia MIT, lo que convirtió a AudioCraft en uno de los primeros kits completamente abiertos para generar audio a partir de texto, frente a sistemas cerrados de empresas como Google. Los checkpoints más pequeños corren en una sola GPU de consumo, y se ha convertido en una base habitual de proyectos de generación musical de código abierto y de investigación sobre síntesis de audio controlable.