O ChatGPT é preciso em questões médicas?

Qual é a precisão do ChatGPT em provas médicas?

O ChatGPT tem bom desempenho em questões de exames de licenciamento médico, e suas notas melhoraram a cada novo modelo. No estudo inicial mais conhecido, Kung e colaboradores (PLOS Digital Health, 2023) aplicaram ao ChatGPT, com o GPT-3.5, 350 questões da prova pública de amostra do USMLE de junho de 2022, após remover as questões com imagens, e constataram que ele teve desempenho no limiar de aprovação de cerca de 60% ou perto dele no Step 1, no Step 2 CK e no Step 3. Mais tarde em 2023, Brin e colaboradores (Scientific Reports, 2023) testaram 80 questões no estilo do USMLE sobre comunicação, ética, empatia e profissionalismo: o GPT-4 acertou 90% e o ChatGPT com o GPT-3.5 acertou 62,5%, contra uma média de 78% dos usuários do AMBOSS nas mesmas questões. Em 2026, os autores de um estudo na Nature Medicine escreveram que os grandes modelos de linguagem já alcançam notas quase perfeitas em exames de licenciamento médico. Em conhecimento de livro-texto, o ChatGPT é forte.

Uma questão de prova, porém, entrega todos os fatos relevantes em um caso clínico limpo, com uma única melhor resposta. Uma questão clínica real tem uma história incompleta, recomendações que podem ter mudado e um paciente específico a considerar.

Qual é a precisão do ChatGPT em questões clínicas reais?

Em questões clínicas abertas, o ChatGPT acerta na maioria das vezes, mas não de forma consistente. Goodman e colaboradores (JAMA Network Open, 2023) pediram a 33 médicos de 17 especialidades que escrevessem 284 perguntas médicas e avaliassem as respostas do ChatGPT: a pontuação mediana de precisão foi 5,5 em uma escala de 6 pontos, entre quase totalmente e totalmente correta, mas a média foi 4,8, e as perguntas difíceis tiveram pontuação menor que as fáceis. As respostas com pontuação baixa melhoraram quando as perguntas foram refeitas de 8 a 17 dias depois, e o GPT-4 teve pontuação maior que o GPT-3.5. Chen e colaboradores (JAMA Oncology, 2023) pediram ao ChatGPT recomendações de tratamento para câncer de mama, próstata e pulmão: 34,3% das 102 respostas que fizeram uma recomendação incluíram pelo menos um tratamento não concordante com as diretrizes da NCCN, e 12,5% de todas as 104 respostas citaram um tratamento que não fazia parte de nenhum tratamento recomendado. As recomendações erradas estavam misturadas às corretas, o que os autores consideraram difícil de identificar até para especialistas.

Saber a resposta também não é o mesmo que ajudar uma pessoa a chegar a ela. Em um ensaio randomizado de Bean e colaboradores (Nature Medicine, 2026), modelos como o GPT-4o identificaram a condição em 94,9% dos cenários escritos quando testados sozinhos, mas 1.298 participantes do Reino Unido que os usaram identificaram as condições relevantes em menos de 34,5% dos casos, sem resultado melhor que um grupo controle que usou suas fontes habituais.

O ChatGPT inventa referências médicas?

O ChatGPT já inventou referências médicas em altas taxas quando lhe pediram que escrevesse com citações de memória, embora os modelos mais novos façam isso com menos frequência. Bhattacharyya e colaboradores (Cureus, 2023) pediram ao ChatGPT com o GPT-3.5 que escrevesse 30 artigos médicos curtos com pelo menos três referências cada. Das 115 referências que ele produziu, 47% eram inventadas, 46% eram reais mas imprecisas e apenas 7% eram reais e precisas. Walters e Wilder (Scientific Reports, 2023) pediram ao ChatGPT que escrevesse revisões de literatura curtas sobre 42 temas e verificaram todas as 636 citações: 55% das citações do GPT-3.5 e 18% das do GPT-4 eram inventadas e, entre as reais, 43% e 24% tinham erros substanciais, como volume, número ou página errados. Uma referência inventada tem a formatação de uma real, com autores, periódico e ano, então pode passar por uma olhada rápida e só falha quando você a procura.

Uma taxa de 18% ainda significa cerca de uma referência inventada a cada cinco, então pesquise no PubMed cada referência de um chatbot antes de citá-la.

Onde os chatbots gerais erram?

Chatbots gerais como o ChatGPT erram em medicina de quatro formas previsíveis, e nenhuma delas significa que o modelo sabe pouca medicina. Primeiro, uma referência escrita de memória pode ser inventada, como mostram os estudos sobre citações. Segundo, um modelo responde a partir de dados de treinamento que param em uma data de corte: no estudo de 2023 sobre câncer, os autores compararam as respostas com as diretrizes da NCCN de 2021 porque o conhecimento do modelo terminava em setembro de 2021, então qualquer mudança posterior nas recomendações era invisível para ele. Terceiro, uma resposta escrita a partir dos dados de treinamento não mostra fonte, então você não consegue ver de onde veio uma afirmação nem quão sólidas são as evidências por trás dela. Quarto, o tom é igualmente confiante quer a resposta esteja certa ou errada: no estudo de Brin de 2023, o GPT-4 não mudou nenhuma de suas respostas quando lhe perguntaram se tinha certeza, incluindo as erradas. Um erro misturado a afirmações corretas, dito com a mesma confiança, é o tipo mais difícil de detectar.

Para ser justo com o ChatGPT, sua interface avisa que ele pode cometer erros, os modelos mais novos inventam menos referências e, quando o ChatGPT pesquisa na web, ele inclui links para as páginas que usou. Essa pesquisa, porém, não se limita a periódicos, diretrizes e bulas, e um link só ajuda se você o abrir.

O ChatGPT é bom para estudantes de medicina e pesquisa?

O ChatGPT é um parceiro de estudo útil para estudantes de medicina e pesquisadores, desde que cada fato importante seja verificado. Para estudantes, o ChatGPT é bom em explicar um mecanismo em palavras simples, discutir por que um diagnóstico diferencial faz sentido, fazer perguntas sobre um tema e reformular um parágrafo denso, e os estudos com provas mostram que ele conhece a maior parte da medicina dos livros. O risco é uma explicação fluente que está errada em um detalhe, que você então aprende como fato. Para a preparação para provas, um banco de questões cujas explicações foram escritas e verificadas com base em fontes é o núcleo mais seguro, com um chatbot ao lado. Para pesquisadores, o ChatGPT pode ajudar com brainstorming, esboços e resumos em linguagem simples de textos que você cola, mas os estudos sobre citações mostram por que não se deve confiar nele para fornecer referências. Cada referência de um chatbot precisa ser encontrada e lida antes de entrar em um manuscrito ou em um slide de clube de revista.

Para uma comparação lado a lado de ferramentas para provas, incluindo onde o ChatGPT se encaixa, veja os melhores apps de IA para o USMLE.

Como verificar uma resposta médica de IA?

Você pode verificar qualquer resposta médica de IA, do ChatGPT ou de qualquer outra ferramenta, com os mesmos cinco passos. Comece encontrando a fonte da afirmação específica que você pretende usar; se a resposta não der nenhuma, trate a afirmação como não verificada até encontrá-la em uma diretriz, uma bula ou um artigo revisado por pares. Abra a fonte e confirme que ela existe e diz o que a frase diz, para o mesmo grupo de pacientes, já que um ensaio em adultos não responde a uma pergunta sobre crianças. Confira a data, porque uma diretriz atualizada depois do treinamento de um modelo pode ter mudado a recomendação. Verifique de quem é a recomendação: as diretrizes do NICE, dos EUA e da Europa podem diferir, então siga a que se aplica onde você atua. Por fim, tire qualquer dose de medicamento das informações de prescrição vigentes ou do formulário local, nunca da resposta de um chatbot. Essas verificações levam minutos e detectam os erros que os estudos acima descrevem.

• Sinal de alerta: uma diretriz sem ano. Você não consegue saber se a recomendação ainda está vigente.
• Sinal de alerta: certeza sobre uma questão em aberto. Quando as evidências são fracas ou as diretrizes divergem, uma boa resposta diz isso.

Em que o AskMed é construído de forma diferente?

O AskMed é construído para que cada afirmação de uma resposta possa ser verificada, em vez de depender do que um modelo lembra. Antes de escrever qualquer resposta, o AskMed pesquisa uma lista fixa de fontes médicas: periódicos e bases de dados como PubMed, Cochrane Library, NEJM, The Lancet, JAMA e The BMJ; diretrizes e agências como NICE, OMS e CDC; bulas da FDA e do DailyMed; e referências como StatPearls e BMJ Best Practice. O AskMed não pesquisa a web aberta, fóruns nem redes sociais. Um modelo de IA então redige a resposta a partir do que a pesquisa encontrou, e cada afirmação é seguida de um link para a sua fonte, no endereço exato dessa fonte, com 8 fontes por padrão. Se nenhuma fonte utilizável aparece, o AskMed exibe uma resposta fixa informando isso, em vez de responder de memória. Para perguntas sobre conduta, o AskMed procura a atualização mais recente da diretriz e é instruído a informar o ano de cada recomendação de diretriz que apresenta.

O AskMed nunca fornece doses de medicamentos; a posologia exata vem das informações de prescrição. As respostas do AskMed também são geradas por IA, sem revisão humana antes de você vê-las, então o AskMed pode interpretar mal uma fonte. A diferença é que cada frase traz um link que você pode abrir. O AskMed funciona no iPhone, iPad, Android e na web. Todos os detalhes: Como o AskMed responde.