Dolly 2.0

Dolly 2.0 est un modèle de langage de suivi d’instructions de 12 milliards de paramètres, que Databricks a publié le 12 avril 2023 à partir du modèle Pythia d’EleutherAI. Ce qui l’a rendu notable, ce n’est pas sa capacité brute, bien en retrait de GPT-3.5 à l’époque, mais sa licence : Databricks a publié en open source les poids, le code d’entraînement et un jeu d’instructions neuf, databricks-dolly-15k, le tout autorisé pour un usage commercial. Ces 15 000 exemples ont été rédigés de zéro par environ 5 000 employés de Databricks, précisément pour éviter les restrictions de licence des jeux de données construits à partir de sorties d’OpenAI, sur lesquels s’appuyaient les modèles ouverts ajustés par instructions d’avant.

Databricks a présenté Dolly 2.0 comme la preuve qu’un modèle utile de suivi d’instructions pouvait être construit et partagé sans conditions restrictives, à une époque où la plupart des modèles ouverts de capacité comparable n’avaient qu’une licence de recherche. Il n’est plus compétitif face aux modèles ajustés par instructions actuels, mais il a été un exemple précoce d’alternative entièrement ouverte aux chatbots commerciaux fermés.