ALBERT

ALBERT (A Lite BERT) es un modelo de representación del lenguaje que Google Research y el Toyota Technological Institute publicaron en septiembre de 2019 como continuación de BERT. Usa dos trucos para reducir parámetros, la parametrización factorizada de los embeddings y el uso compartido de parámetros entre capas, para recortar con fuerza el número de parámetros sin dejar de competir en precisión con modelos mucho más grandes. La configuración mayor, ALBERT-xxlarge, con unos 223 millones de parámetros, tiene aproximadamente 18 veces menos parámetros que BERT-large, entrena más rápido y, en el momento de su publicación, marcó nuevas puntuaciones máximas en GLUE, SQuAD 2.0 y RACE.

Como BERT, ALBERT es un modelo solo encoder, pensado para tareas de comprensión como la clasificación, la respuesta a preguntas y la comprensión lectora, y no para generar texto abierto, y limita la entrada a 512 tokens por secuencia. Google publicó el código y los pesos preentrenados de forma abierta, y el modelo se convirtió en una referencia habitual en la investigación de NLP y en sistemas de producción a principios de la década de 2020, antes de que los modelos generativos solo decoder acapararan casi toda la atención del campo.