O OpenEvidence é confiável? O que os estudos mostram
Atualizado em
O OpenEvidence é confiável? Em testes publicados, ele acerta a maioria das questões clínicas e suas referências são reais, mas ainda comete erros, e os estudos publicados divergem sobre como ele se compara aos chatbots de IA de uso geral. Os próprios comunicados do OpenEvidence relatam nota máxima em uma prova pública de exemplo do USMLE. Pesquisadores independentes encontraram respostas de alta qualidade em várias especialidades e nenhuma referência inventada entre quase 5.000 verificadas, mas também respostas incompletas, notas inferiores às de chatbots de ponta em um conjunto de benchmarks e resultados mais fracos em perguntas sobre medicamentos. A seguir: em que o OpenEvidence se baseia, o que ele afirma, o que os estudos encontraram, como conferir uma resposta e como responde o AskMed, uma referência médica com IA para médicos, enfermeiros, farmacêuticos, estudantes de medicina e pesquisadores.
- Alegação do próprio OpenEvidence100% na prova pública de exemplo do USMLE, apenas questões de texto, aplicada pelo OpenEvidence (2025)
- Benchmark independente89,6% em 500 questões do MedQA, abaixo de três chatbots de ponta (Nature Medicine, 2026)
- ReferênciasNenhuma referência inventada entre 4.979 citações verificadas (npj Health Systems, 2026)
- Testes por especialidadeRespostas de alta qualidade na maioria, com lacunas em completude, informações sobre medicamentos e evidência pediátrica (2026)
Em que o OpenEvidence se baseia?
O OpenEvidence é um buscador médico com IA da OpenEvidence Inc. que escreve respostas citadas a perguntas clínicas para profissionais de saúde verificados. Sua ficha na App Store dos EUA diz que as respostas são "sourced, cited, and grounded in peer-reviewed medical literature" (com fontes, citadas e fundamentadas na literatura médica revisada por pares), com cada afirmação citada, com base em mais de 35 milhões de artigos revisados por pares, mais de 300 periódicos médicos e fontes da FDA e do CDC. A ficha cita NEJM, JAMA e seus 11 periódicos de especialidade, NCCN, Nature, a Cochrane Library e a Wiley como parceiros oficiais, e acrescenta texto completo licenciado de vários deles, além de acordos de conteúdo com sociedades como AAFP, ACC, ADA, AAP e ACOG. Desde julho de 2026, um recurso chamado EvidenceGrade classifica a força da evidência por trás de cada resposta, com base no sistema GRADE. Os Termos de Uso do OpenEvidence dizem que o serviço tem fins exclusivamente educacionais e informativos e não substitui o julgamento clínico.
Os modelos de linguagem de base por trás do OpenEvidence não são públicos, como observam os autores de um estudo de 2026 na Nature Medicine. Em setembro de 2026, a empresa lançou sua própria família de modelos: Osler, o padrão para respostas rápidas; Sackett, um modelo de busca mais aprofundada; e Snow, que escreve relatórios mais longos.
O que o OpenEvidence diz sobre a própria precisão?
O OpenEvidence relata sua precisão principalmente por meio de benchmarks de provas que a própria empresa aplicou. Em 14 de julho de 2023, o OpenEvidence anunciou que sua IA foi a primeira a passar de 90% no USMLE, medido na prova oficial de exemplo de 2022. Em 15 de agosto de 2025, anunciou 100% no USMLE. A seção de métodos diz que o teste usou as questões da prova de exemplo publicadas por Kung e colaboradores em 2023, excluiu todas as questões com imagem, corrigiu um erro de registro nesse conjunto de dados e pontuou uma questão do Step 3 pela resposta do OpenEvidence em vez do gabarito oficial, depois que sete psiquiatras a revisaram e concordaram com o OpenEvidence. Em 3 de setembro de 2026, o OpenEvidence disse que um novo modelo de pesquisa, o Darwin, obteve 100% no MedQA, 72,8% no MedXpertQA, 82,7% no HealthBench Professional e 87,2% no NOHARM. O Darwin está em prévia de pesquisa, disponível apenas mediante solicitação, portanto não é o modelo que os clínicos usam no dia a dia.
Os três resultados vêm de comunicados do próprio OpenEvidence, não de testes independentes, e uma questão de prova de licenciamento traz todos os fatos relevantes em um caso clínico limpo, com uma única melhor resposta, algo raro nas perguntas clínicas reais.
O que os estudos independentes encontraram?
O maior teste independente do OpenEvidence até agora o considerou preciso, mas atrás de três chatbots de uso geral. Vishwanath e colaboradores, da NYU Langone (Nature Medicine, 2026), consultaram o OpenEvidence pelo site em setembro de 2025 e fevereiro de 2026 e o compararam com o UpToDate Expert AI, o GPT-5.2, o Gemini 3.1 Pro e o Claude Opus 4.6. Em 500 questões de prova do MedQA, o OpenEvidence obteve 89,6%, contra 97,4% do Gemini, 94,2% do GPT-5.2, 90,2% do Claude e 88,4% do UpToDate Expert AI. Em 100 perguntas reais que médicos tinham feito a uma IA durante o atendimento, 12 clínicos cegados deram ao OpenEvidence média de 3,24 em uma escala de 4 pontos, contra 3,62 do Gemini. O OpenEvidence teve a menor nota em clareza, e os autores escreveram que seu ponto fraco era a comunicação, não o conhecimento. Conteúdo nocivo e alucinações não diferiram significativamente entre os seis sistemas testados. Os autores descrevem seus resultados como um retrato instantâneo de ferramentas que mudam rápido e não avaliaram a qualidade das citações.
Um segundo estudo chegou à classificação oposta. Feng e colaboradores (preprint no arXiv, junho de 2026, sem revisão por pares) pediram a 149 médicos dos EUA que comparassem respostas cegadas a 620 perguntas reais feitas no OpenEvidence, e os médicos preferiram o OpenEvidence ao Claude Opus 4.8, ao Gemini 3.1 Pro e ao GPT-5.5 em precisão, utilidade clínica, qualidade das fontes, verificabilidade e completude. O artigo afirma que nenhum dos autores tem vínculo com o OpenEvidence, mas que o OpenEvidence ajudou a elaborar o plano de coleta de dados, realizou a coleta e pagou os médicos que avaliaram as respostas.
O OpenEvidence inventa referências?
Os estudos até agora mostraram que as referências do OpenEvidence são reais, o que o diferencia de chatbots que citam de memória. Lotan e colaboradores (npj Health Systems, 2026) enviaram ao OpenEvidence 150 prompts padronizados de cinco especialidades e verificaram todas as 4.979 citações retornadas: nenhuma foi confirmada como inventada, três resumos tinham erros de atribuição e a maioria das referências era recente e de periódicos de alto impacto. Esse estudo verificou se cada referência existe, e não se ela sustenta a frase a que está ligada. Hunter e colaboradores (Hospital Pediatrics, 2026) verificaram essa sustentação: em 17 perguntas baseadas em diretrizes de seis subespecialidades pediátricas, 88,2% das respostas foram consideradas bem fundamentadas por suas citações, e o OpenEvidence citou a diretriz principal em 15 das 17 perguntas. Mas 35,3% das respostas citaram estudos que não eram específicos de crianças, de modo que um artigo real ainda pode descrever os pacientes errados. Referências reais são o ponto de partida para conferir uma resposta, não a prova de que ela está certa.
O mesmo estudo avaliou a qualidade das respostas com mediana de 27 em 30, e 6 das 17 respostas tinham algum potencial de dano, nenhuma acima de 3 na escala de dano de 7 pontos do estudo.
Onde as respostas do OpenEvidence deixam a desejar?
As respostas do OpenEvidence falham com mais frequência em completude, informações sobre medicamentos e decisões com nuances, segundo estudos por especialidade publicados em 2026. Meyer e colaboradores (American Surgeon, 2026) testaram 138 cenários de câncer de reto construídos a partir das diretrizes do NCCN: as respostas do OpenEvidence foram consideradas corretas em 92,8% e precisas em 81,2%, contra 98,6% e 84,1% do ChatGPT-5, e os autores consideraram as duas ferramentas limitadas em completude, nuance e decisões sensíveis às preferências do paciente. Em um estudo de farmácia de Issa e colaboradores (American Journal of Health-System Pharmacy, 2026), o OpenEvidence respondeu com precisão 40% de 20 perguntas sobre medicamentos, contra 70% do ChatGPT 5.1, embora suas respostas tenham tido a maior nota geral de qualidade entre as ferramentas de IA. Stephenson e colaboradores, da Mayo Clinic (Mayo Clinic Proceedings: Digital Health, 2026), viram que as 125 interconsultas eletrônicas do OpenEvidence sobre esteatose hepática foram mais bem avaliadas que as dos próprios especialistas, mas 12 continham erros menores e uma, um erro potencialmente grave.
Em um teste de triagem de Jia e colaboradores (International Journal of Medical Informatics, 2026), o OpenEvidence acertou 71,3% dos casos claros que respondeu, subtriou 12,5% das emergências e supertriou 68,0% dos casos que poderiam ser manejados em casa. Seus erros tendiam à cautela.
Que limites todos os mecanismos de resposta com IA compartilham?
Mecanismos de resposta com IA como o OpenEvidence compartilham limites que vêm do seu funcionamento, sejam quais forem suas fontes. Um mecanismo de resposta primeiro recupera documentos, depois um modelo de linguagem escreve um resumo deles, e as duas etapas podem falhar. Os autores do estudo da Nature Medicine apontam evidências de que a recuperação pode piorar o desempenho quando material irrelevante é recuperado ou mal integrado pelo modelo. Mesmo com fontes reais, uma frase pode dizer mais do que sua fonte: Wu e colaboradores (Nature Communications, 2025) testaram sete modelos populares em 800 perguntas médicas e viram que de 50% a 90% das respostas não eram totalmente sustentadas pelas fontes citadas, e às vezes eram contraditas por elas; mesmo no GPT-4o com busca na web, cerca de 30% das afirmações individuais não tinham sustentação. Esse estudo não testou o OpenEvidence. Os mecanismos de resposta também mudam com frequência: o OpenEvidence lançou um novo modelo padrão, o Osler, em setembro de 2026, depois que os estudos da Nature Medicine e de farmácia já tinham coletado suas respostas, por isso os números publicados podem não descrever a versão atual.
Por fim, uma resposta fluente e bem citada transmite a mesma confiança, esteja completa ou não. Conferir a fonte por trás da afirmação em que você vai se basear é a única salvaguarda confiável.
Como conferir uma resposta do OpenEvidence?
Você pode conferir uma resposta do OpenEvidence, ou de qualquer ferramenta de IA, em poucos minutos com os mesmos cinco passos. Primeiro, abra a citação por trás da frase específica em que pretende se basear e confirme que a fonte diz o que a frase diz; uma referência real ainda pode estar ligada a uma afirmação que ela não sustenta. Segundo, verifique se a fonte estudou os mesmos pacientes: o estudo pediátrico acima mostrou que cerca de um terço das respostas citava estudos que não eram específicos de crianças. Terceiro, verifique a data e o tipo de evidência, porque uma diretriz atual pesa mais que uma revisão antiga e um estudo pequeno é mais fraco que uma metanálise; a classificação EvidenceGrade do OpenEvidence ajuda aqui, mas leia a fonte também. Quarto, verifique de quem é a recomendação, já que as diretrizes do NICE, dos EUA e da Europa podem divergir. Quinto, tire qualquer dose de medicamento da bula vigente ou do formulário local, nunca de um resumo de IA.
- Abra a citação. Leia a frase na própria fonte.
- Confira os pacientes. Adultos, crianças, gestação e função renal mudam a resposta.
- Verifique a data e o tipo. Primeiro a diretriz mais recente, depois revisões sistemáticas, depois estudos isolados.
- Verifique de quem é a recomendação. Siga a diretriz que vale onde você atua.
- Tire as doses da bula. Use a bula vigente.
Para o que os estudos encontraram sobre chatbots de uso geral, veja O ChatGPT é preciso em perguntas médicas?
Em que o AskMed responde de forma diferente?
O AskMed foi feito para que cada afirmação possa ser conferida e para que qualquer pessoa da área médica possa usá-lo. Antes de escrever qualquer resposta, o AskMed busca em uma lista fixa de fontes médicas: periódicos e bases de dados como PubMed, Cochrane Library, NEJM, The Lancet, JAMA e The BMJ; diretrizes e agências como NICE, OMS, CDC, ESC e KDIGO; bulas da FDA e do DailyMed, além de registros como a EMA para nomes comerciais locais; e referências como StatPearls e BMJ Best Practice. O AskMed não busca na web aberta, em fóruns nem em redes sociais. Cada afirmação vem seguida de um link para sua fonte, de 8 fontes por padrão, e os filtros de fontes permitem escolher tipos de fonte, tipos de estudo e de 3 a 12 fontes. Se não aparece nenhuma fonte utilizável, o AskMed mostra uma resposta fixa avisando disso, em vez de responder de memória. O AskMed nunca informa doses de medicamentos, funciona no mundo todo sem NPI nem número de registro e roda no iPhone, iPad, Android e na web.
As respostas do AskMed também são escritas por IA, sem revisão humana antes de você vê-las, então o AskMed também pode interpretar mal uma fonte; a diferença é que cada frase traz um link que você pode abrir. Os Termos de Uso do OpenEvidence dizem que ele não está disponível no Reino Unido, na UE nem no EEE, e o cadastro pede um NPI ou outro número de registro. Para a comparação detalhada, veja AskMed vs OpenEvidence e alternativas ao OpenEvidence; para todas as fontes e limites, veja Como o AskMed responde.
Perguntas frequentes
O OpenEvidence é preciso?
Na maioria das vezes, mas nem sempre. Estudos independentes encontraram respostas de alta qualidade em várias especialidades e nenhuma referência inventada entre 4.979 citações verificadas, mas também respostas incompletas, 40% de acerto em um pequeno conjunto de perguntas sobre medicamentos e notas de benchmark inferiores às de três chatbots de ponta em um estudo de 2026 na Nature Medicine. Use o OpenEvidence como ponto de partida e abra a fonte por trás de qualquer afirmação em que for se basear.
O OpenEvidence realmente tirou 100% no USMLE?
O OpenEvidence relata que sim, em um comunicado de agosto de 2025. O teste usou as questões públicas da prova de exemplo do USMLE de um estudo de 2023, sem as questões com imagens, e contou uma questão do Step 3 pela resposta do OpenEvidence, e não pelo gabarito oficial. O teste foi aplicado pelo próprio OpenEvidence e não foi publicado em periódico revisado por pares.
O OpenEvidence alucina?
Menos que os chatbots de uso geral, no caso das referências: um estudo de 2026 não encontrou nenhuma referência inventada entre 4.979 citações do OpenEvidence. No estudo de 2026 da Nature Medicine, a taxa de conteúdo alucinado do OpenEvidence não diferiu significativamente da dos outros cinco sistemas testados. Uma referência real ainda pode estar ligada a uma afirmação que ela não sustenta totalmente, então abra-a.
O OpenEvidence é mais preciso que o ChatGPT?
Os estudos divergem. Um estudo de 2026 revisado por pares, na Nature Medicine, classificou o GPT-5.2, o Gemini e o Claude acima do OpenEvidence, enquanto um preprint de 2026 cuja coleta de dados foi feita e paga pelo OpenEvidence mostrou que os médicos preferiram as respostas do OpenEvidence. Os estudos de uma só especialidade também se dividem. Para saber mais, veja OpenEvidence vs ChatGPT for Clinicians vs AskMed.
O AskMed pode errar?
Sim. As respostas do AskMed são escritas por IA, então confira a fonte vinculada por trás de qualquer afirmação em que for se basear e toque no polegar para baixo sob uma resposta para relatar um erro.
O AskMed informa doses de medicamentos?
Não. O AskMed nunca informa doses, cálculos de dose nem esquemas de titulação, nem mesmo em questões de prova. Ele ainda explica os usos de um medicamento, como a dose é escolhida e ajustada, o monitoramento e os efeitos adversos. As doses exatas vêm da bula vigente.