Med-PaLM

Med-PaLM est la première tentative de Google d’un modèle de questions-réponses médicales, construit en ajustant le modèle PaLM de 540 milliards de paramètres sur des données cliniques et de santé grand public. Décrit dans un article mis en ligne en décembre 2022, puis publié dans Nature, c’est le premier système d’IA à obtenir une note de passage sur des questions dans le style du US Medical Licensing Examination, en dépassant le seuil d’environ 60 %. Google l’a évalué sur MultiMedQA, un benchmark introduit avec le modèle, qui rassemble des questions d’examen médical, des requêtes de littérature de recherche et le genre de questions que les gens cherchent sur leur propre santé.

Le projet a posé la comparaison que Med-PaLM 2 allait ensuite améliorer, et il est resté un système de recherche plutôt qu’un produit public. Les cliniciens qui ont relu ses réponses l’ont trouvé sujet au genre d’erreurs factuelles et d’omissions qui rendent risqué un usage sans supervision dans de vrais contextes médicaux, ce qui explique en partie pourquoi Google l’a gardé limité à des partenaires de recherche.