LLaMA
La publicación original de pesos abiertos de Meta en 2023, que abrió el auge de los LLM abiertos
LLaMA es el gran modelo de lenguaje original de Meta, publicado en febrero de 2023 en cuatro tamaños, de 7B a 65B de parámetros, con una ventana de contexto de 2048 tokens, modesta para los estándares de hoy. A diferencia de las generaciones posteriores de Llama, el acceso estuvo restringido al principio: Meta concedía los pesos a investigadores caso por caso, bajo una licencia no comercial, en lugar de publicarlos libremente, aunque los pesos se filtraron a las pocas semanas del lanzamiento. Meta informó de que su modelo de 13B superaba a la versión de 175 000 millones de parámetros de GPT-3 en varios benchmarks, y de que el de 65B era competitivo con PaLM y Chinchilla, una afirmación que hizo que la comunidad de LLM de código abierto mirara con atención el entrenamiento eficiente. LLaMA es el modelo que desató la ola de fine-tunes abiertos y derivados, como Alpaca y Vicuna, que marcó la investigación de LLM de código abierto durante 2023, aunque desde entonces lo han sustituido por completo Llama 2, 3 y 4.