¿Qué es OpenEvidence y es fiable? Lo que hallaron los estudios
Actualizado el
En las pruebas publicadas, OpenEvidence acierta en la mayoría de las preguntas clínicas y sus referencias son reales, pero sigue cometiendo errores, y los estudios publicados no coinciden en cómo se compara con los chatbots de IA generalistas. Los propios anuncios de OpenEvidence informan de una puntuación perfecta en un examen de muestra público del USMLE. Investigadores independientes hallaron respuestas de alta calidad en varias especialidades y ninguna referencia inventada entre casi 5,000 revisadas, pero también respuestas incompletas, puntuaciones más bajas que las de los chatbots de vanguardia en un conjunto de pruebas y peores resultados en preguntas de información sobre medicamentos. A continuación: qué es OpenEvidence y en qué se basa, qué afirma, qué hallaron los estudios, cómo comprobar una respuesta y cómo responde AskMed, una referencia médica con IA para médicos, enfermeros, farmacéuticos, estudiantes de medicina e investigadores.
- Lo que afirma OpenEvidence100% en el examen de muestra público del USMLE, solo preguntas de texto, prueba realizada por OpenEvidence (2025)
- Prueba independiente89.6% en 500 preguntas de MedQA, por debajo de tres chatbots de vanguardia (Nature Medicine, 2026)
- ReferenciasNinguna referencia inventada entre 4,979 citas revisadas (npj Health Systems, 2026)
- Pruebas por especialidadRespuestas mayoritariamente de alta calidad, con carencias en exhaustividad, información de medicamentos y evidencia pediátrica (2026)
¿En qué se basa OpenEvidence?
OpenEvidence es un buscador médico con IA de OpenEvidence Inc. que redacta respuestas con fuentes a preguntas clínicas para profesionales sanitarios verificados. Su ficha en el App Store de EE. UU. dice que las respuestas están "sourced, cited, and grounded in peer-reviewed medical literature" (con fuentes, citadas y basadas en literatura médica revisada por pares), con cada afirmación citada, a partir de más de 35 millones de artículos revisados por pares, más de 300 revistas médicas y fuentes de la FDA y los CDC. La ficha nombra como socios oficiales a NEJM, JAMA y sus 11 revistas de especialidad, la NCCN, Nature, la Cochrane Library y Wiley, y añade texto completo bajo licencia de varios de ellos, además de acuerdos de contenido con sociedades como la AAFP, el ACC, la ADA, la AAP y el ACOG. Desde julio de 2026, una función llamada EvidenceGrade califica la solidez de la evidencia de cada respuesta, a partir del sistema GRADE. Las Condiciones de uso de OpenEvidence dicen que el servicio tiene fines exclusivamente educativos e informativos y no sustituye al juicio clínico.
Los modelos de lenguaje de base de OpenEvidence no son públicos, como señalan los autores de un estudio de Nature Medicine de 2026. En septiembre de 2026 lanzó su propia familia de modelos: Osler, el modelo por defecto para respuestas rápidas; Sackett, un modelo de búsqueda más profunda; y Snow, que redacta informes más largos.
¿Qué dice OpenEvidence sobre su propia precisión?
OpenEvidence informa de su precisión sobre todo mediante pruebas con exámenes que realizó la propia empresa. El 14 de julio de 2023, OpenEvidence anunció que su IA era la primera en superar el 90% en el USMLE, medido con el examen de muestra oficial de 2022. El 15 de agosto de 2025, anunció un 100% perfecto en el USMLE. Su apartado de métodos dice que la prueba usó las preguntas del examen de muestra publicadas por Kung y colaboradores en 2023, excluyó todas las preguntas con imagen, corrigió un error de registro en ese conjunto de datos y puntuó una pregunta del Step 3 según la respuesta de OpenEvidence en lugar de la clave oficial, después de que siete psiquiatras la revisaran y le dieran la razón a OpenEvidence. El 3 de septiembre de 2026, OpenEvidence dijo que un nuevo modelo de investigación, Darwin, obtuvo un 100% en MedQA, un 72.8% en MedXpertQA, un 82.7% en HealthBench Professional y un 87.2% en NOHARM. Darwin está en versión preliminar de investigación, disponible solo por solicitud, así que no es el modelo que los clínicos usan a diario.
Los tres resultados proceden de los propios anuncios de OpenEvidence, no de pruebas independientes, y una pregunta de examen de habilitación da todos los datos relevantes en una viñeta limpia con una única mejor respuesta, algo que rara vez ocurre con las preguntas clínicas reales.
¿Qué hallaron los estudios independientes?
La mayor prueba independiente de OpenEvidence hasta la fecha lo encontró preciso, pero por detrás de tres chatbots generalistas. Vishwanath y colaboradores, de NYU Langone (Nature Medicine, 2026), consultaron OpenEvidence a través de su web en septiembre de 2025 y febrero de 2026 y lo compararon con UpToDate Expert AI, GPT-5.2, Gemini 3.1 Pro y Claude Opus 4.6. En 500 preguntas de examen de MedQA, OpenEvidence obtuvo un 89.6%, frente al 97.4% de Gemini, el 94.2% de GPT-5.2, el 90.2% de Claude y el 88.4% de UpToDate Expert AI. En 100 preguntas reales que los médicos habían hecho a una IA durante la atención, 12 clínicos con enmascaramiento dieron a OpenEvidence una media de 3.24 en una escala de 4 puntos, frente a 3.62 para Gemini. OpenEvidence puntuó más bajo en claridad, y los autores escribieron que su punto débil era la comunicación, no el conocimiento. El contenido dañino y las alucinaciones no difirieron de forma significativa entre los seis sistemas evaluados. Los autores describen sus resultados como una instantánea de herramientas que cambian rápido, y no evaluaron la calidad de las citas.
Un segundo estudio llegó a la clasificación opuesta. Feng y colaboradores (preprint en arXiv, junio de 2026, sin revisión por pares) pidieron a 149 médicos de EE. UU. que compararan, con enmascaramiento, respuestas a 620 preguntas reales hechas en OpenEvidence, y los médicos prefirieron OpenEvidence frente a Claude Opus 4.8, Gemini 3.1 Pro y GPT-5.5 en precisión, utilidad clínica, calidad de las fuentes, verificabilidad y exhaustividad. El artículo indica que ninguno de sus autores está vinculado a OpenEvidence, pero que OpenEvidence codiseñó el plan de recogida de datos, realizó la recogida de datos y pagó a los médicos que puntuaron las respuestas.
¿Se inventa OpenEvidence las referencias?
Los estudios hasta ahora han hallado que las referencias de OpenEvidence son reales, lo que lo distingue de los chatbots que citan de memoria. Lotan y colaboradores (npj Health Systems, 2026) enviaron a OpenEvidence 150 consultas estandarizadas de cinco especialidades y revisaron las 4,979 citas que devolvió: ninguna se confirmó como inventada, tres resúmenes tenían errores de atribución y la mayoría de las referencias eran recientes y de revistas de alto impacto. Ese estudio comprobó si cada referencia existe, no si respalda la frase a la que va unida. Hunter y colaboradores (Hospital Pediatrics, 2026) sí comprobaron el respaldo: en 17 preguntas basadas en guías clínicas de seis subespecialidades pediátricas, el 88.2% de las respuestas se consideraron muy bien respaldadas por sus citas, y OpenEvidence citó la guía principal en 15 de las 17 preguntas. Pero el 35.3% de las respuestas citaban estudios que no eran específicos de niños, de modo que un artículo real puede describir a pacientes equivocados. Las referencias reales son el punto de partida para comprobar una respuesta, no la prueba de que sea correcta.
El mismo estudio puntuó la calidad de las respuestas con una mediana de 27 sobre 30, y 6 de las 17 respuestas tenían cierto potencial de daño, ninguna por encima de 3 en la escala de daño de 7 puntos del estudio.
¿En qué se quedan cortas las respuestas de OpenEvidence?
Las respuestas de OpenEvidence se quedan cortas sobre todo en exhaustividad, información de medicamentos y decisiones con matices, según estudios de especialidad publicados en 2026. Meyer y colaboradores (American Surgeon, 2026) evaluaron 138 escenarios de cáncer de recto construidos a partir de las guías de la NCCN: las respuestas de OpenEvidence se calificaron como correctas en el 92.8% y precisas en el 81.2%, frente al 98.6% y el 84.1% de ChatGPT-5, y los autores vieron limitaciones en ambas herramientas en exhaustividad, matices y decisiones que dependen de las preferencias del paciente. En un estudio de farmacia de Issa y colaboradores (American Journal of Health-System Pharmacy, 2026), OpenEvidence respondió con precisión el 40% de 20 preguntas de información sobre medicamentos, frente al 70% de ChatGPT 5.1, aunque sus respuestas obtuvieron la puntuación global de calidad más alta entre las herramientas de IA. Stephenson y colaboradores, de Mayo Clinic (Mayo Clinic Proceedings: Digital Health, 2026), vieron que las 125 interconsultas electrónicas de OpenEvidence sobre hígado graso recibían mejor puntuación que las de los propios especialistas, aunque 12 contenían errores menores y una, un error potencialmente grave.
En una prueba de triaje de Jia y colaboradores (International Journal of Medical Informatics, 2026), OpenEvidence acertó en el 71.3% de los casos claros que respondió, infraclasificó el 12.5% de las urgencias y sobreclasificó el 68.0% de los casos que podían manejarse en casa. Sus errores tendían a la prudencia.
¿Qué límites comparten todos los motores de respuesta con IA?
Los motores de respuesta con IA como OpenEvidence comparten límites que se derivan de su funcionamiento, sean cuales sean sus fuentes. Un motor de respuesta primero recupera documentos y después un modelo de lenguaje redacta un resumen de ellos, y ambos pasos pueden fallar. Los autores de Nature Medicine señalan evidencia de que la recuperación puede empeorar el rendimiento cuando se recupera material irrelevante o el modelo lo integra mal. Incluso con fuentes reales, una frase puede decir más que su fuente: Wu y colaboradores (Nature Communications, 2025) evaluaron siete modelos populares con 800 preguntas médicas y hallaron que entre el 50% y el 90% de las respuestas no estaban totalmente respaldadas por las fuentes que citaban, y a veces las contradecían; incluso con GPT-4o con búsqueda web, alrededor del 30% de las afirmaciones individuales no estaban respaldadas. Ese estudio no evaluó OpenEvidence. Los motores de respuesta también cambian a menudo: OpenEvidence lanzó un nuevo modelo por defecto, Osler, en septiembre de 2026, después de que los estudios de Nature Medicine y de farmacia recogieran sus respuestas, así que las cifras publicadas pueden no describir la versión actual.
Por último, una respuesta fluida y bien citada se lee con la misma seguridad tanto si está completa como si no. Comprobar la fuente de la afirmación sobre la que vas a actuar es la única salvaguarda fiable.
¿Cómo comprobar una respuesta de OpenEvidence?
Puedes comprobar una respuesta de OpenEvidence, o de cualquier herramienta de IA, en unos minutos con los mismos cinco pasos. Primero, abre la cita de la frase concreta sobre la que piensas actuar y confirma que la fuente dice lo mismo que la frase; una referencia real puede ir unida a una afirmación que no respalda. Segundo, comprueba que la fuente estudió a pacientes como los tuyos: el estudio pediátrico citado arriba halló que alrededor de un tercio de las respuestas citaban estudios que no eran específicos de niños. Tercero, comprueba la fecha y el tipo de evidencia, porque una guía clínica vigente pesa más que una revisión antigua y un estudio pequeño es más débil que un metaanálisis; la calificación EvidenceGrade de OpenEvidence ayuda aquí, pero lee también la fuente. Cuarto, comprueba de quién es la recomendación, ya que las guías de NICE, de EE. UU. y europeas pueden diferir. Quinto, toma cualquier dosis de un fármaco de la ficha técnica vigente o de tu formulario local, nunca de un resumen de IA.
- Abre la cita. Lee la frase en la propia fuente.
- Compara los pacientes. Adultos, niños, embarazo y función renal cambian la respuesta.
- Comprueba la fecha y el tipo. Primero la guía clínica más reciente, después las revisiones sistemáticas y luego los estudios aislados.
- Comprueba de quién es la recomendación. Sigue la guía clínica que se aplica donde ejerces.
- Toma las dosis de la ficha técnica. Usa la ficha técnica vigente.
Para lo que hallaron los estudios sobre los chatbots generalistas, consulta ¿Es fiable ChatGPT para preguntas médicas?
¿En qué se diferencia cómo responde AskMed?
AskMed está diseñado para que cada afirmación pueda comprobarse y para que cualquier persona del ámbito médico pueda usarlo. Antes de redactar una respuesta, AskMed busca en una lista fija de fuentes médicas: revistas y bases de datos como PubMed, la Cochrane Library, NEJM, The Lancet, JAMA y The BMJ; guías clínicas y organismos como NICE, la OMS, los CDC, la ESC y KDIGO; fichas técnicas de la FDA y DailyMed, además de registros como la EMA para nombres comerciales locales; y obras de referencia como StatPearls y BMJ Best Practice. AskMed no busca en la web abierta, foros ni redes sociales. Cada afirmación va seguida de un enlace a su fuente, de 8 fuentes por defecto, y los filtros de fuentes permiten elegir tipos de fuente, tipos de estudio y de 3 a 12 fuentes. Si no aparece ninguna fuente utilizable, AskMed muestra una respuesta fija que lo indica en lugar de responder de memoria. AskMed nunca da dosis de medicamentos, funciona en todo el mundo sin NPI ni número de colegiación y está disponible en iPhone, iPad, Android y la web.
Las respuestas de AskMed también las redacta una IA, sin revisión humana antes de que las veas, así que AskMed también puede interpretar mal una fuente; la clave es que cada frase lleva un enlace que puedes abrir. Las Condiciones de uso de OpenEvidence dicen que no está disponible en el Reino Unido, la UE ni el EEE, y su registro pide un NPI u otro número de colegiación. Para el detalle comparado, consulta AskMed vs OpenEvidence y alternativas a OpenEvidence; para todas las fuentes y los límites, consulta Cómo responde AskMed.
Preguntas frecuentes
¿Es fiable OpenEvidence?
En general sí, pero no siempre. Los estudios independientes hallaron respuestas de alta calidad en varias especialidades y ninguna referencia inventada entre 4,979 citas revisadas, pero también respuestas incompletas, un 40% de precisión en un pequeño conjunto de preguntas de información sobre medicamentos y puntuaciones más bajas que tres chatbots de vanguardia en un estudio de Nature Medicine de 2026. Usa OpenEvidence como punto de partida y abre la fuente de cualquier afirmación sobre la que vayas a actuar.
¿De verdad obtuvo OpenEvidence un 100% en el USMLE?
OpenEvidence afirma que sí, en un anuncio de agosto de 2025. La prueba usó las preguntas públicas del examen de muestra del USMLE de un estudio de 2023, sin las preguntas con imagen, y contó una pregunta del Step 3 según la respuesta de OpenEvidence en lugar de la clave oficial. El resultado lo obtuvo la propia OpenEvidence y no se ha publicado en una revista con revisión por pares.
¿Alucina OpenEvidence?
Menos que los chatbots generalistas en cuanto a referencias: un estudio de 2026 no halló ninguna referencia inventada entre 4,979 citas de OpenEvidence. En el estudio de Nature Medicine de 2026, la tasa de contenido alucinado de OpenEvidence no difirió de forma significativa de la de los otros cinco sistemas evaluados. Una referencia real puede ir unida a una afirmación que no respalda del todo, así que ábrela.
¿Es OpenEvidence más preciso que ChatGPT?
Los estudios no coinciden. Un estudio de Nature Medicine de 2026 con revisión por pares situó a GPT-5.2, Gemini y Claude por encima de OpenEvidence, mientras que un preprint de 2026 cuya recogida de datos realizó y pagó OpenEvidence halló que los médicos preferían las respuestas de OpenEvidence. Los estudios de una sola especialidad también están divididos. Para más detalle, consulta OpenEvidence vs ChatGPT for Clinicians vs AskMed.
¿Puede equivocarse AskMed?
Sí. Las respuestas de AskMed las redacta una IA, así que comprueba la fuente enlazada de cualquier afirmación sobre la que vayas a actuar, y toca el pulgar hacia abajo bajo una respuesta para notificar un error.
¿AskMed da dosis de medicamentos?
No. AskMed nunca da dosis, cálculos de dosis ni pautas de titulación, ni siquiera en preguntas de examen. Sí explica los usos de un fármaco, cómo se elige y ajusta la posología, la monitorización y los efectos adversos. Las dosis exactas se toman de la ficha técnica vigente.