DeepSeek-Coder-33B

DeepSeek-Coder-33Bは、DeepSeekが2023年11月に公開したコード特化の言語モデルです。のちの推論モデルで同社が広く知られるようになる前のものです。コードと自然言語を主な内訳とする2兆トークンでゼロから学習しました。コンテキスト長は16,000トークンで、プロジェクト単位の学習により、断片的なスニペットだけでなく複数のファイルにまたがって推論できます。指示チューニング版は公開時にHumanEvalでpass@1が79.3%となり、当時のほとんどのオープンなコードモデルを上回り、コーディングのベンチマークではGPT-3.5に迫りました。コードエディタ向けのfill-in-the-middle補完に対応し、幅広いプログラミング言語を扱えます。その後DeepSeekは、より大きなMixture-of-Expertsモデルでコンテキスト長も長いDeepSeek-Coder-V2に置き換えましたが、33B版は自前でホストするためにHugging Faceで引き続き入手できます。