Med-PaLM 2
Medizinisches LLM von Google mit Expertenniveau bei Fragen der US-amerikanischen Approbationsprüfung
Med-PaLM 2 ist Googles medizinisches Frage-Antwort-Modell der zweiten Generation. Es basiert auf PaLM 2 und wurde mit medizinischen Daten feinabgestimmt. Als erstes Sprachmodell erreichte es Expertenniveau im MedQA-Benchmark, der Fragen im Stil der US-amerikanischen Zulassungsprüfung für Ärztinnen und Ärzte umfasst: Es erzielte 86,5 Prozent und lag damit rund 19 Prozentpunkte über dem ursprünglichen Med-PaLM. Google bewertete das Modell anhand von MultiMedQA, einer Sammlung aus sieben Datensätzen zu Fachprüfungen, Fragen aus der medizinischen Forschung und Gesundheitsfragen von Verbraucherinnen und Verbrauchern. Außerdem stellte das Unternehmen eine Methode namens Ensemble Refinement vor: Das Modell erzeugt mehrere Begründungspfade und führt sie anschließend zu einer Antwort zusammen.
Google stellte Med-PaLM 2 nur einer kleinen Zahl von Gesundheitsorganisationen zum Testen bereit, statt es allgemein zu veröffentlichen. Das spiegelt die Vorsicht beim Einsatz medizinischer KI in der klinischen Praxis wider. Später floss die Arbeit in MedLM ein, ein Google-Cloud-Produkt für Gesundheitsanbieter. Med-PaLM 2 gilt als Forschungsschritt hin zu KI-Systemen, die Ärztinnen und Ärzte unterstützen und Patientinnen und Patienten sicher Fragen beantworten können, und nicht als allgemeiner Chatbot.