O ChatGPT conseguiu atingir aproximadamente 60% do limite de aprovação para o Exame de Licenciamento Médico dos Estados Unidos (USMLE), com respostas que faziam sentido interno e coerente e continham insights frequentes, de acordo com um novo estudo.
Tiffany Kung e colegas da AnsibleHealth, Califórnia, EUA, testaram o desempenho do ChatGPT no USMLE, uma série altamente padronizada e regulamentada de três exames, incluindo os Passos 1, 2CK e 3, necessários para o licenciamento médico nos EUA, o estudo disse.
Realizado por estudantes de medicina e médicos em treinamento, o USMLE avalia o conhecimento abrangendo a maioria das disciplinas médicas, variando de bioquímica a raciocínio diagnóstico e bioética.
Após triagem para remover perguntas baseadas em imagens do USMLE, os autores testaram o software em 350 das 376 perguntas públicas disponíveis na versão USMLE de junho de 2022, disse o estudo.
Os autores descobriram que, após a remoção de respostas indeterminadas, ChatGPT teve pontuação entre 52,4 pe rcent e 75 por cento nos três exames USMLE, disse o estudo publicado na revista PLOS Digital Health.
O limite de aprovação a cada ano é de aproximadamente 60 por cento.
ChatGPT é um novo artificial inteligência (AI), conhecido como um grande modelo de linguagem (LLM), projetado para gerar escrita semelhante à humana, prevendo as próximas sequências de palavras.
Ao contrário da maioria dos chatbots, o ChatGPT não pode pesquisar na Internet, disse o estudo.
Em vez disso, ele gera texto usando relacionamentos de palavras previstos por seus processos internos, disse o estudo.
De acordo com o estudo, o ChatGPT também demonstrou 94,6% de concordância em todas as suas respostas e produziu em pelo menos um insight significativo, algo que era novo, não óbvio e clinicamente válido, para 88,9 por cento de suas respostas.
O ChatGPT também superou o desempenho do PubMedGPT, um modelo equivalente treinado exclusivamente na literatura de domínio biomédico, que obteve 50,8 por cento em um conjunto de dados mais antigo de perguntas no estilo USMLE, th O estudo disse.
Embora o tamanho de entrada relativamente pequeno restringisse a profundidade e o alcance das análises, os autores observaram que suas descobertas forneceram um vislumbre do potencial do ChatGPT para aprimorar a educação médica e, eventualmente, a prática clínica.
p>
Por exemplo, eles acrescentaram, os médicos da AnsibleHealth já usam o ChatGPT para reescrever relatórios com muitos jargões para facilitar a compreensão do paciente.
“Alcançar a nota de aprovação para este exame especializado notoriamente difícil e fazê-lo sem qualquer reforço humano, marca um marco notável na maturação clínica da IA”, disseram os autores.
Kung acrescentou que o papel do ChatGPT nesta pesquisa foi além de ser o sujeito do estudo.
“ChatGPT contribuiu substancialmente para a redação do [nosso] manuscrito… Interagimos com o ChatGPT como um colega, pedindo-lhe para sintetizar, simplificar e oferecer contrapontos aos rascunhos em andamento… Todos os coautores valorizaram a contribuição do ChatGPT.”
Os links de afiliados podem ser gerados automaticamente-consulte nossa declaração de ética para obter detalhes.