DistilBERT
Verdichtete Version von BERT von Hugging Face, 40 Prozent kleiner bei Erhalt des Großteils der Leistung
DistilBERT ist eine komprimierte Version von Googles BERT, die Hugging Face im Oktober 2019 veröffentlichte. Beim sogenannten Knowledge Distillation lernt ein kleineres Schülermodell während des Vortrainings, die Ausgaben des größeren BERT-Lehrermodells nachzuahmen. Mit 66 Millionen Parametern ist es 40 Prozent kleiner als BERT-base und läuft rund 60 Prozent schneller, behält aber etwa 97 Prozent der BERT-Leistung in der GLUE-Benchmark-Suite. Bei Aufgaben wie Fragenbeantwortung mit SQuAD und IMDb-Stimmungsklassifizierung liegt es trotz der Größenreduzierung nur wenige Punkte hinter dem vollständigen BERT.
Die Arbeit „DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter“ zählt zu den meistzitierten NLP-Publikationen. Das Modell wurde zur Standardwahl für Teams, die Sprachverständnis auf BERT-Niveau mit begrenzter Hardware – etwa Mobilgeräten – benötigen. Es steht unter Apache 2.0 und gehört auch Jahre nach der Veröffentlichung zu den meistgeladenen Modellen auf Hugging Face.