InternLM2
El modelo fundacional de pesos abiertos del Shanghai AI Lab, con buen contexto largo y razonamiento
InternLM2 es un modelo de lenguaje de pesos abiertos del Shanghai AI Laboratory, publicado el 17 de enero de 2024 en tamaños de 7B y 20B, junto a variantes de chat equivalentes. Ambos tamaños admiten una ventana de contexto de 200 000 tokens, alcanzada con un proceso de entrenamiento que empieza en secuencias de 4K tokens y se extiende de forma gradual a 32K y más allá, y el modelo se mantiene bien en pruebas de aguja en un pajar sobre documentos largos a esa longitud. La variante de chat de 20B obtiene 67,7 en MMLU, por delante de varios modelos abiertos de tamaño parecido en el momento del lanzamiento. InternLM2 se entrenó con un corpus multilingüe grande, con fuerza particular en inglés y chino, y se situó como modelo fundacional de propósito general para razonamiento, programación y tareas de contexto largo, antes de que el Shanghai AI Lab lo sustituyera por InternLM2.5 más adelante ese año. Se publica bajo la licencia Apache 2.0 y se distribuye por Hugging Face y el repositorio de GitHub de InternLM.