DeepSeek-Coder-33B

DeepSeek-Coder-33B es un modelo de lenguaje centrado en código que DeepSeek publicó en noviembre de 2023, antes de que la empresa se hiciera muy conocida por sus modelos de razonamiento posteriores. Se entrenó desde cero con 2 billones de tokens repartidos sobre todo entre código y lenguaje natural, con una ventana de contexto de 16 000 tokens y un entrenamiento a nivel de proyecto que le permite razonar a través de varios archivos y no solo de fragmentos aislados. La versión ajustada para instrucciones obtuvo un 79,3 % de pass@1 en HumanEval en la publicación, por delante de la mayoría de los modelos de código abiertos de entonces y a distancia de alcance de GPT-3.5 en benchmarks de programación. Admite el completado fill-in-the-middle para usarlo en editores de código y cubre un amplio abanico de lenguajes de programación. DeepSeek lo ha sustituido desde entonces por DeepSeek-Coder-V2, un modelo de mezcla de expertos más grande y con una ventana de contexto más larga, pero el modelo de 33B sigue disponible en Hugging Face para autoalojarlo.