LLaMA

LLaMAはMeta初の大規模言語モデルで、2023年2月に70億から650億パラメータまで4サイズで公開されました。コンテキスト長は当時としても控えめな2,048トークンです。当初は非商用ライセンスで、Metaは研究者を個別審査して重みを提供しましたが、数週間後に重みが流出しました。Metaは130億版がGPT-3の1,750億版を複数ベンチマークで上回り、650億版はPaLMやChinchillaに匹敵すると報告し、効率的な学習に注目が集まりました。LLaMAを起点にAlpacaやVicunaなどの派生モデルが広まり、2023年のオープンソースLLM研究を形作りましたが、現在はLlama 2、3、4に置き換えられています。