Dolly 2.0

Dolly 2.0 ist ein Sprachmodell mit 12 Milliarden Parametern, das Databricks am 12. April 2023 auf Basis des Pythia-Modells von EleutherAI veröffentlichte. Bemerkenswert war weniger die reine Leistungsfähigkeit – damals lag es deutlich hinter GPT-3.5 –, sondern die Lizenzierung: Databricks veröffentlichte die Modellgewichte, den Trainingscode und einen neu erstellten Anweisungsdatensatz namens databricks-dolly-15k zur kommerziellen Nutzung. Die 15.000 Beispiele wurden von rund 5000 Databricks-Mitarbeitenden von Grund auf verfasst. So sollten Lizenzbeschränkungen vermieden werden, die Datensätzen auf Basis von OpenAI-Ausgaben anhafteten und auf die sich frühere offene instruction-tuned Modelle gestützt hatten.

Databricks stellte Dolly 2.0 als Beleg dafür vor, dass sich ein nützliches Modell zur Befolgung von Anweisungen ohne restriktive Bedingungen entwickeln und teilen lässt – zu einer Zeit, als die Lizenzen der meisten ähnlich leistungsfähigen offenen Modelle die Nutzung auf Forschung beschränkten. Mit modernen instruction-tuned Modellen kann es nicht mehr konkurrieren, war jedoch ein frühes und einflussreiches Beispiel für eine vollständig offene Alternative zu geschlossenen kommerziellen Chatbots.