根據一項新研究,ChatGPT 的分數可以達到或接近美國醫學執照考試 (USMLE) 的大約 60% 的及格門檻,其回答具有連貫性、內在意義並包含經常性的見解。

美國加利福尼亞州 AnsibleHealth 的 Tiffany Kung 及其同事測試了 ChatGPT 在 USMLE 上的表現,USMLE 是一個高度標準化和規範的系列三項考試,包括美國醫療執照所需的步驟 1、2CK 和 3,該研究

USMLE 由醫學生和實習醫師參加,評估涵蓋大多數醫學學科的知識,從生物化學到診斷推理,再到生物倫理學。

篩選後該研究稱,為了從 USMLE 中刪除基於圖像的問題,作者對 2022 年 6 月 USMLE 發布的 376 個公共問題中的 350 個問題測試了該軟件。

作者發現,在刪除不確定的回答後, ChatGPT 得分在 52.4 pe 之間發表在 PLOS Digital Health 雜誌上的研究稱,三項 USMLE 考試的通過率分別為 75% 和 75%。

每年的通過門檻約為 60%。

ChatGPT 是一種新的人工智能 (AI) 系統,稱為大型語言模型 (LLM),旨在通過預測即將到來的單詞序列來生成類似人類的寫作。

研究稱,與大多數聊天機器人不同,ChatGPT 無法搜索互聯網。

相反,它使用其內部過程預測的單詞關係生成文本,該研究稱。

根據該研究,ChatGPT 還展示了 94.6% 的所有響應的一致性,並在88.9% 的回答至少有一個重要的見解,即新的、非顯而易見的和臨床有效的東西。

ChatGPT 的性能也超過了 PubMedGPT,PubMedGPT 是專門針對生物醫學領域文獻訓練的對應模型,在較舊的 USMLE 式問題數據集上得分為 50.8%,th e 研究說。

雖然相對較小的輸入大小限制了分析的深度和範圍,但作者指出,他們的發現讓我們得以一窺 ChatGPT 在加強醫學教育並最終加強臨床實踐方面的潛力。

p>

例如,他們補充說,AnsibleHealth 的臨床醫生已經使用 ChatGPT 重寫大量術語的報告,以便於患者理解。

“達到這個眾所周知的困難專家考試的及格分數,並這樣做沒有任何人工強化,標誌著臨床 AI 成熟的一個顯著里程碑,”作者說。

Kung 補充說,ChatGPT 在這項研究中的作用不僅僅是研究對象。

“ChatGPT為 [我們的] 手稿的寫作做出了重大貢獻……我們像同事一樣與 ChatGPT 互動,要求它綜合、簡化並為正在進行的草稿提供對立……所有合著者都重視 ChatGPT 的投入。”

附屬鏈接可能會自動生成-有關詳細信息,請參閱我們的道德聲明。

By Henry Taylor

我是後端開發人員。 你們中有些人可能在開發者大會上見過我。 最近我一直在做一個開源項目。