ChatGPT分数船上近50%认证实践为眼科测试,研究显示

ChatGPT的一项研究发现人工智能工具正确地回答了不到一半的测试问题从研究资源常用的眼科医生当准备委员会认证。

该研究发表在JAMA眼科由圣迈克尔医院,多伦多网站统一的健康发现ChatGPT正确回答46%的问题当测试最初是在2023年1月进行的。当研究人员进行相同的测试一个月后,ChatGPT得分高出10%以上。

人工智能在医学上的潜力和考试准备以来获得兴奋ChatGPT成为公开的2022年11月。这也是提高关心不正确的信息和欺骗在学术界的潜力。ChatGPT是免费的,可用于任何一个网络连接,以对话的方式工作。

“ChatGPT可能越来越重要的角色医学教育和临床实践随着时间的推移,然而重要的是压力的负责任地使用AI系统,“拉杰夫·h·穆尼博士说,这项研究的首席研究员和研究员李嘉诚知识研究所圣迈克尔的。“ChatGPT,是调查不充分的多项选择题正确答案提供大量援助在准备认证。”

研究人员使用的数据集多项选择题练习OphthoQuestions免费试用的,一个常见的资源委员会认证考试准备。确保ChatGPT的反应没有影响并发对话,条目或对话ChatGPT清除了之前输入每一个问题和一个新的ChatGPT账户使用。问题用图片和视频不在因为ChatGPT只接受文本输入。

125年的基于文本的选择题,ChatGPT正确回答了58例(46%)问题当这项研究是第一次在2023年1月进行的。研究人员重复分析ChatGPT 2023年2月,,性能提高58%。

“ChatGPT是一个人工智能系统,在医学教育有着巨大的承诺。虽然它提供了不正确的董事会认证问题的答案眼科学大约一半的时间,我们预计,ChatGPT的知识将快速发展,“Marko Popovic博士说,这项研究的作者之一主治医师在多伦多大学的眼科和视觉科学。

ChatGPT密切匹配学员如何回答问题,选择了最常见的回答多项选择题的反应一样由眼科学员提供44%的时间。ChatGPT选择多项选择题的反应在眼科中最不受欢迎的学员11%的时间,第二最不受欢迎的18%的时间,第二个最受欢迎的22%的时间。

“ChatGPT一般医学上最准确的执行问题,回答正确的79%。另一方面,其准确性大大降低眼科细分专业的问题。例如,聊天机器人回答问题正确的20% oculoplastics和0%正确附属专业的视网膜。ChatGPT的准确性可能会改善在未来最利基细分专业,”Andrew Mihalache说,该研究的主要作者,在西方大学本科生。