Hunyuan Large

Hunyuan-LargeはTencentのオープンウェイト混合エキスパート言語モデルです。2024年11月に公開され、総パラメータ数は3,890億、各トークンで有効になるのは520億です。Tencentは公開時点で最大のオープンなTransformerベースMoEモデルと説明しました。コンテキスト長は256Kで、以前の密なHunyuanモデルと比べ、推論、プログラミング、長文脈の情報想起を向上させるため、合成データと実データを組み合わせて訓練されました。専門家の振り分けやデータ拡張の方針を記した技術レポートも重みとともに公開し、Hugging FaceでのセルフホストとTencent Cloud経由のAPI利用に対応しています。DeepSeek-V2やMistralのMixtralシリーズなど、同時期の大規模オープンMoEモデルと競合します。特に、実際に動作するパラメータ数に対して大きな専門家プールを持つ点が特徴です。