¿Es ChatGPT preciso en preguntas médicas?

¿Qué precisión tiene ChatGPT en los exámenes médicos?

ChatGPT obtiene buenas notas en preguntas de exámenes de licencia médica, y sus notas han subido con cada modelo nuevo. En el primer estudio más conocido, Kung y colaboradores (PLOS Digital Health, 2023) plantearon a ChatGPT, con GPT-3.5, 350 preguntas del examen de muestra público del USMLE de junio de 2022, tras retirar las preguntas con imágenes, y hallaron que su rendimiento estaba en el umbral de aprobado de aproximadamente el 60% o cerca de él en el Step 1, el Step 2 CK y el Step 3. Más tarde en 2023, Brin y colaboradores (Scientific Reports, 2023) evaluaron 80 preguntas de estilo USMLE sobre comunicación, ética, empatía y profesionalidad: GPT-4 acertó el 90% y ChatGPT con GPT-3.5 el 62.5%, frente a una media del 78% de los usuarios de AMBOSS en las mismas preguntas. En 2026, los autores de un estudio de Nature Medicine escribieron que los grandes modelos de lenguaje ya obtienen notas casi perfectas en los exámenes de licencia médica. En conocimientos de manual, ChatGPT es sólido.

Sin embargo, una pregunta de examen entrega todos los datos relevantes en un caso clínico limpio con una sola mejor respuesta. Una pregunta clínica real tiene una anamnesis incompleta, recomendaciones que pueden haber cambiado y un paciente concreto al que ajustarse.

¿Qué precisión tiene ChatGPT en preguntas clínicas reales?

En preguntas clínicas abiertas, ChatGPT acierta la mayoría de las veces, pero no de forma constante. Goodman y colaboradores (JAMA Network Open, 2023) pidieron a 33 médicos de 17 especialidades que redactaran 284 preguntas médicas y puntuaran las respuestas de ChatGPT: la puntuación mediana de precisión fue de 5.5 en una escala de 6 puntos, entre casi completamente y completamente correcta, pero la media fue de 4.8, y las preguntas difíciles puntuaron menos que las fáciles. Las respuestas con puntuación baja mejoraron cuando las preguntas se volvieron a hacer entre 8 y 17 días después, y GPT-4 puntuó más que GPT-3.5. Chen y colaboradores (JAMA Oncology, 2023) pidieron a ChatGPT recomendaciones de tratamiento para el cáncer de mama, de próstata y de pulmón: el 34.3% de las 102 respuestas que hacían una recomendación incluía al menos un tratamiento no concordante con las guías de la NCCN, y el 12.5% de las 104 respuestas nombraba un tratamiento que no formaba parte de ningún tratamiento recomendado. Las recomendaciones erróneas aparecían mezcladas con las correctas, lo que según los autores las hacía difíciles de detectar incluso para expertos.

Además, saber la respuesta no es lo mismo que ayudar a una persona a llegar a ella. En un ensayo aleatorizado de Bean y colaboradores (Nature Medicine, 2026), modelos como GPT-4o identificaron la afección en el 94.9% de los escenarios escritos cuando se evaluaron solos, pero los 1,298 participantes del Reino Unido que los usaron identificaron afecciones relevantes en menos del 34.5% de los casos, no mejor que un grupo de control que usó sus fuentes habituales.

¿Inventa ChatGPT referencias médicas?

ChatGPT ha inventado referencias médicas con mucha frecuencia cuando se le ha pedido escribir con citas de memoria, aunque los modelos más nuevos lo hacen menos. Bhattacharyya y colaboradores (Cureus, 2023) pidieron a ChatGPT con GPT-3.5 que redactara 30 artículos médicos breves con al menos tres referencias cada uno. De las 115 referencias que generó, el 47% eran inventadas, el 46% eran reales pero inexactas, y solo el 7% eran reales y exactas. Walters y Wilder (Scientific Reports, 2023) pidieron a ChatGPT que redactara revisiones bibliográficas breves sobre 42 temas y comprobaron las 636 citas: el 55% de las citas de GPT-3.5 y el 18% de las de GPT-4 eran inventadas, y entre las reales, el 43% y el 24% tenían errores sustanciales, como un volumen, un número o una página equivocados. Una referencia inventada tiene el formato de una real, con autores, revista y año, así que puede pasar un vistazo rápido y solo falla cuando la buscas.

Una tasa del 18% sigue significando aproximadamente una referencia inventada de cada cinco, así que busca en PubMed cada referencia de un chatbot antes de citarla.

¿Dónde fallan los chatbots generales?

Los chatbots generales como ChatGPT fallan en medicina de cuatro maneras previsibles, y ninguna significa que el modelo sepa poca medicina. Primero, una referencia escrita de memoria puede ser inventada, como muestran los estudios sobre citas. Segundo, un modelo responde a partir de datos de entrenamiento que terminan en una fecha de corte: en el estudio oncológico de 2023, los autores compararon las respuestas con las guías de la NCCN de 2021 porque el conocimiento del modelo terminaba en septiembre de 2021, así que cualquier cambio posterior en las recomendaciones le resultaba invisible. Tercero, una respuesta escrita a partir de los datos de entrenamiento no muestra ninguna fuente, así que no puedes ver de dónde sale una afirmación ni lo sólida que es la evidencia que la respalda. Cuarto, el tono es igual de seguro tanto si la respuesta es correcta como si no: en el estudio de Brin de 2023, GPT-4 no cambió ninguna de sus respuestas cuando se le preguntó si estaba seguro, incluidas las erróneas. Un error mezclado con afirmaciones correctas, dicho con la misma seguridad, es el más difícil de detectar.

Para ser justos con ChatGPT, su interfaz advierte de que puede cometer errores, los modelos más nuevos inventan menos referencias, y cuando ChatGPT busca en la web enlaza las páginas que ha usado. Sin embargo, esa búsqueda no se limita a revistas, guías clínicas y fichas técnicas, y un enlace solo ayuda si lo abres.

¿Es ChatGPT útil para estudiantes de medicina e investigación?

ChatGPT es un compañero de estudio útil para estudiantes de medicina e investigadores, siempre que se compruebe cada dato importante. Para los estudiantes, ChatGPT es bueno explicando un mecanismo con palabras sencillas, razonando por qué tiene sentido un diagnóstico diferencial, haciéndote preguntas sobre un tema y reformulando un párrafo denso, y los estudios sobre exámenes muestran que conoce la mayor parte de la medicina de manual. El riesgo es una explicación fluida que falla en un detalle y que luego aprendes como un hecho. Para preparar exámenes, un banco de preguntas cuyas explicaciones se redactaron y contrastaron con fuentes es la base más segura, con un chatbot como complemento. Para los investigadores, ChatGPT puede ayudar con la lluvia de ideas, los esquemas y los resúmenes en lenguaje sencillo de textos que pegues, pero los estudios sobre citas muestran por qué no hay que confiarle la aportación de referencias. Cada referencia de un chatbot hay que encontrarla y leerla antes de que entre en un manuscrito o en una diapositiva de una sesión bibliográfica.

Para comparar herramientas de examen, incluido el lugar de ChatGPT, consulta las mejores apps de IA para el USMLE.

¿Cómo puedes comprobar una respuesta médica de una IA?

Puedes comprobar cualquier respuesta médica de una IA, de ChatGPT o de cualquier otra herramienta, con los mismos cinco pasos. Empieza por buscar la fuente de la afirmación concreta que piensas usar; si la respuesta no da ninguna, considera la afirmación no verificada hasta que la encuentres en una guía clínica, una ficha técnica o un artículo revisado por pares. Abre la fuente y confirma que existe y que dice lo que dice la frase, para el mismo grupo de pacientes, ya que un ensayo en adultos no responde a una pregunta sobre niños. Comprueba la fecha, porque una guía clínica actualizada después del entrenamiento de un modelo puede haber cambiado la recomendación. Comprueba de quién es la recomendación: las guías de NICE, de EE. UU. y europeas pueden diferir, así que sigue la que se aplica donde ejerces. Por último, toma cualquier dosis de la información de prescripción vigente o de tu formulario local, nunca de la respuesta de un chatbot. Estas comprobaciones llevan minutos y detectan los errores que describen los estudios anteriores.

• Señal de alerta: una guía clínica sin año. No puedes saber si la recomendación sigue vigente.
• Señal de alerta: certeza ante una cuestión abierta. Cuando la evidencia es débil o las guías discrepan, una buena respuesta lo dice.

¿En qué es distinto AskMed?

AskMed está hecho para que cada afirmación de una respuesta pueda comprobarse, en lugar de depender de lo que recuerda un modelo. Antes de redactar cualquier respuesta, AskMed busca en una lista fija de fuentes médicas: revistas y bases de datos como PubMed, la Cochrane Library, NEJM, The Lancet, JAMA y The BMJ; guías clínicas y agencias como NICE, la OMS y los CDC; fichas técnicas de la FDA y DailyMed; y obras de referencia como StatPearls y BMJ Best Practice. AskMed no busca en la web abierta, en foros ni en redes sociales. Después, un modelo de IA redacta la respuesta a partir de lo que encontró la búsqueda, y cada afirmación va seguida de un enlace a su fuente, con la dirección web exacta de esa fuente, a partir de 8 fuentes por defecto. Si no aparece ninguna fuente útil, AskMed muestra una respuesta fija que lo indica en lugar de responder de memoria. Para las preguntas de manejo, AskMed busca la actualización más reciente de la guía clínica y tiene instrucciones de indicar el año de cada recomendación de guía clínica que menciona.

AskMed nunca da dosis de medicamentos; la posología exacta procede de la información de prescripción. Las respuestas de AskMed también las genera una IA, sin revisión humana antes de que las veas, así que AskMed puede malinterpretar una fuente. La diferencia es que cada frase lleva un enlace que puedes abrir. AskMed funciona en iPhone, iPad, Android y la web. Todos los detalles: Cómo responde AskMed.