DistilBERT

DistilBERT est une version compressée du BERT de Google que Hugging Face a publiée en octobre 2019. La distillation de connaissances sert à entraîner un modèle élève plus petit à imiter les sorties du BERT enseignant, plus grand, pendant le préentraînement. Avec 66 millions de paramètres, il est 40 % plus petit que le BERT-base d’origine et environ 60 % plus rapide, tout en conservant autour de 97 % des performances de BERT sur la suite de benchmarks GLUE. Sur des tâches comme la question-réponse SQuAD et la classification de sentiment IMDb, il reste à quelques points du BERT complet malgré la réduction de taille.

L’article, « DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter », est devenu l’un des plus cités en NLP, et le modèle lui-même un choix par défaut pour les équipes qui voulaient une compréhension du langage de niveau BERT sur du hardware contraint, y compris les appareils mobiles. Il est publié sous licence Apache 2.0 et reste l’un des modèles les plus téléchargés sur Hugging Face, des années après sa sortie.