Med-PaLM
El primer LLM de Google ajustado para responder preguntas de exámenes médicos y de salud del público
Med-PaLM es el primer intento de Google de un modelo de preguntas y respuestas médicas, construido al ajustar (fine-tuned) el modelo PaLM de 540 000 millones de parámetros con datos clínicos y de salud del público. Descrito en un artículo colgado en diciembre de 2022 y publicado después en Nature, fue el primer sistema de IA que sacó un aprobado en preguntas al estilo del US Medical Licensing Examination, al superar el listón de cerca del 60 %. Google lo evaluó en MultiMedQA, un benchmark que introdujo junto al modelo y que reúne preguntas de exámenes médicos, consultas a la literatura de investigación y el tipo de preguntas que la gente busca sobre su propia salud.
El proyecto dejó planteada la comparación que Med-PaLM 2 mejoraría después, y siguió siendo un sistema de investigación, no un producto público. Quienes lo revisaron en clínica vieron que era propenso al tipo de errores factuales y omisiones que hacen arriesgado usarlo sin supervisión en entornos médicos reales, y eso forma parte de por qué Google lo mantuvo limitado a socios de investigación.