Med-PaLM 2

Med-PaLM 2 est le modèle de questions-réponses médicales de deuxième génération de Google, construit sur la base PaLM 2 et ajusté sur des données du domaine médical. C’est le premier modèle de langage à atteindre une performance de niveau expert sur le benchmark MedQA, un ensemble de questions dans le style du US Medical Licensing Examination, avec 86,5 %, un saut d’environ 19 points par rapport au Med-PaLM d’origine. Google l’a évalué sur MultiMedQA, une collection de sept jeux de données qui couvrent des examens professionnels, des questions de recherche médicale et des requêtes de santé grand public, et a introduit une technique appelée ensemble refinement, où le modèle génère plusieurs chemins de raisonnement puis les combine en une réponse finale.

Google a partagé Med-PaLM 2 avec un petit ensemble d’organisations de santé pour des tests, plutôt que de le diffuser largement, ce qui reflète la prudence autour du déploiement de l’IA médicale en contexte clinique. Il a ensuite nourri MedLM, un produit Google Cloud pour les clients de la santé, et il est présenté comme une étape de recherche vers des systèmes d’IA qui peuvent aider les médecins et répondre aux questions des patients de façon sûre, plutôt que comme un chatbot généraliste.