BioGPT

BioGPT ist ein Sprachmodell, das Microsoft Research im Oktober 2022 vorstellte. Es wurde gezielt für biomedizinische Texte entwickelt und nicht nachträglich aus einem Allzweckmodell abgeleitet. Die GPT-2-ähnliche Decoder-Architektur wurde von Grund auf mit rund 15 Millionen PubMed-Abstracts trainiert. Es gibt eine Basisversion mit 347 Millionen Parametern und BioGPT-Large mit 1,5 Milliarden Parametern. Da das Modell von Beginn an mit biomedizinischen Texten trainiert wurde, übertraf es frühere Allzweck-Sprachmodelle bei Aufgaben wie der Extraktion biomedizinischer Beziehungen, der Beantwortung von Fragen zu medizinischer Literatur und der Dokumentenklassifizierung. Microsoft veröffentlichte beide Checkpoints unter der MIT-Lizenz auf Hugging Face und GitHub. Sie sind damit ein verbreiteter Ausgangspunkt für Forschungsgruppen, die biomedizinische NLP-Werkzeuge entwickeln möchten, ohne ein domänenspezifisches Modell von Grund auf zu trainieren. BioGPT erschien vor dem Aufkommen allgemeiner instruction-tuned Chatmodelle und wurde nicht weiter aktualisiert. Heute dient es vor allem als leichtgewichtige, selbst hostbare Option für eng umrissene Aufgaben mit biomedizinischen Texten und weniger als allgemeiner Assistent.