ChatGPT konnte laut einer neuen Studie bei oder um die etwa 60-prozentige Bestehensschwelle für die United States Medical Licensing Exam (USMLE) punkten, mit Antworten, die kohärent, intern sinnvoll waren und häufig Erkenntnisse enthielten.
Tiffany Kung und Kollegen von AnsibleHealth, Kalifornien, USA, testeten die Leistung von ChatGPT in der Studie USMLE, einer hochgradig standardisierten und regulierten Reihe von drei Prüfungen, einschließlich der Schritte 1, 2CK und 3, die für die medizinische Approbation in den USA erforderlich sind sagte.
Das USMLE wird von Medizinstudenten und Ärzten in Ausbildung übernommen und bewertet das Wissen, das die meisten medizinischen Disziplinen umfasst, von Biochemie über diagnostische Argumentation bis hin zu Bioethik.
Nach dem Screening zu bildbasierte Fragen aus dem USMLE zu entfernen, testeten die Autoren die Software an 350 der 376 öffentlichen Fragen, die ab der USMLE-Veröffentlichung vom Juni 2022 verfügbar waren, heißt es in der Studie.
Die Autoren stellten fest, dass nach dem Entfernen unbestimmter Antworten ChatGPT hatte zwischen 52,4 PE erzielt rzent und 75 Prozent bei den drei USMLE-Prüfungen, so die in der Zeitschrift PLOS Digital Health veröffentlichte Studie.
Die Schwelle zum Bestehen liegt jedes Jahr bei etwa 60 Prozent.
ChatGPT ist ein neues künstliches Verfahren Intelligence (AI)-System, bekannt als Large Language Model (LLM), das entwickelt wurde, um menschenähnliches Schreiben zu erzeugen, indem es bevorstehende Wortsequenzen vorhersagt.
Im Gegensatz zu den meisten Chatbots kann ChatGPT das Internet nicht durchsuchen, so die Studie.
Stattdessen generiert es Text unter Verwendung von Wortbeziehungen, die von seinen internen Prozessen vorhergesagt werden, so die Studie.
Laut der Studie zeigte ChatGPT auch eine Übereinstimmung von 94,6 % bei allen seinen Antworten und erzeugten bei 88,9 % der Antworten mindestens eine signifikante Erkenntnis, etwas Neues, nicht offensichtliches und klinisch gültiges.
ChatGPT übertraf auch die Leistung von PubMedGPT, einem Gegenmodell, das ausschließlich auf biomedizinische Fachliteratur trainiert wurde, die bei einem älteren Datensatz von Fragen im USMLE-Stil 50,8 Prozent erzielte, th Die Studie sagte.
Während die relativ geringe Eingabegröße die Tiefe und den Umfang der Analysen einschränkte, stellten die Autoren fest, dass ihre Ergebnisse einen Einblick in das Potenzial von ChatGPT zur Verbesserung der medizinischen Ausbildung und schließlich der klinischen Praxis geben.
p>
Zum Beispiel, fügten sie hinzu, verwenden Kliniker bei AnsibleHealth bereits ChatGPT, um jargonlastige Berichte für ein leichteres Verständnis der Patienten umzuschreiben.
“Erreichen der bestandenen Punktzahl für diese notorisch schwierige Expertenprüfung, und das auch noch ohne menschliche Verstärkung, markiert einen bemerkenswerten Meilenstein in der klinischen KI-Reifung”, sagten die Autoren.
Kung fügte hinzu, dass die Rolle von ChatGPT in dieser Forschung über das Studienobjekt hinausging.
“ChatGPT wesentlich zum Schreiben [unseres] Manuskripts beigetragen… Wir interagierten mit ChatGPT wie ein Kollege und baten es, zu synthetisieren, zu vereinfachen und Gegenpunkte zu laufenden Entwürfen anzubieten… Alle Co-Autoren schätzten den Beitrag von ChatGPT.”
Affiliate-Links können automatisch generiert werden – Einzelheiten finden Sie in unserer Ethik-Erklärung.