LLaMA
Sortie à poids ouverts d'origine de Meta en 2023, qui a lancé l'essor des LLM ouverts
LLaMA est le grand modèle de langage d’origine de Meta, sorti en février 2023 en quatre tailles, de 7B à 65B de paramètres, avec une fenêtre de contexte de 2 048 tokens, modeste aux standards d’aujourd’hui. Contrairement aux générations Llama suivantes, l’accès était d’abord restreint : Meta accordait les poids à des chercheurs au cas par cas, sous une licence non commerciale, plutôt que de les publier librement, même si les poids ont fuité publiquement dans les semaines qui ont suivi la sortie. Meta indiquait que son modèle 13B battait la version à 175 milliards de paramètres de GPT-3 sur plusieurs benchmarks, et que le modèle 65B était compétitif avec PaLM et Chinchilla, une affirmation qui a fait regarder de près, dans la communauté des LLM open source, l’entraînement efficace. LLaMA est le modèle qui a lancé la vague de fine-tunes ouverts et de dérivés, comme Alpaca et Vicuna, qui a défini la recherche LLM open source en 2023, même s’il a depuis été entièrement remplacé par Llama 2, 3 et 4.