Emu3

Emu3は北京智源人工知能研究院(BAAI)が2024年9月に公開した、オープンウェイトのマルチモーダルモデルで、ある一つの考え方を軸にしています。テキスト、画像、動画のすべてを離散トークンの系列として扱い、3つすべてにわたって次のトークンを予測するように、1つのtransformerを学習させるというものです。拡散やCLIP型の別個の部品はありません。BAAIは80億パラメータのモデルとして、ChatとGenの2つのバリエーションで公開しました。一方は視覚と言語の理解向け、もう一方は生成向けに調整されています。目的を一つにした単純な設計にもかかわらず、BAAIは、画像生成ではSDXL、視覚と言語の理解ではLLaVA-1.6といった、当時の確立したタスク特化のオープンモデルを、Emu3が上回ったと報告しています。このプロジェクトは、2025年後半に公開されたBAAIのより大きなEmu3.5の前身にあたります。Emu3.5は同じ次トークン予測の手法を、340億パラメータまで拡大しています。