InternLM2

InternLM2 ist ein Sprachmodell mit offenen Gewichten des Shanghai AI Laboratory. Es wurde am 17. Januar 2024 in Größen mit 7B und 20B Parametern samt entsprechenden Chatvarianten veröffentlicht. Beide Größen unterstützen ein Kontextfenster von 200.000 Tokens. Dafür wurde das Training mit Sequenzen von 4K Tokens begonnen und schrittweise auf 32K und darüber hinaus erweitert. Bei Tests mit langen Dokumenten nach dem Needle-in-a-Haystack-Prinzip hält das Modell diese Länge gut durch. Die 20B-Chatvariante erreicht 67,7 Punkte bei MMLU und lag bei der Veröffentlichung damit vor mehreren offenen Modellen ähnlicher Größe. InternLM2 wurde mit einem großen mehrsprachigen Korpus trainiert und ist besonders stark in Englisch und Chinesisch. Vor der Ablösung durch InternLM2.5 im selben Jahr war es als universelles Grundlagenmodell für Schlussfolgern, Programmieren und Aufgaben mit langem Kontext positioniert. Es steht unter Apache 2.0 auf Hugging Face und im InternLM-GitHub-Repository bereit.