医疗人工智能工具的地域偏见

人工智能
图片来源:Pixabay/CC0 Public Domain

就在几十年前,科学家在研究新药时并没有太多考虑多样性。大多数临床试验招募的主要是居住在城市研究所附近的白人男性,假设任何发现都同样适用于全国其他地区。后来的研究证明这个假设是错误的;在最初研究中代表性不足的人群中,积累了后来被确定效果较差或引起更多副作用的药物的例子。

为了解决这些不平等问题,联邦政府要求参与在20世纪90年代被扩大,而现在尝试从研究开始时开始招募不同的人群。

但随着我们开发人工智能等新技术,我们现在正面临着重复同样错误的风险。斯坦福大学的研究人员研究了机器学习的临床应用,发现大多数算法只在三个病人的数据集上进行了训练大多数州都没有代表患者。

“人工智能算法应该反映社区,”VA Palo Alto医院的主治医生、斯坦福大学生物工程兼职教授阿米特·考沙尔(Amit Kaushal)说。“如果我们为美国各地的患者构建基于人工智能的工具,作为一个领域,我们不可能有来自少数几个地方的数据来训练这些工具。”

Kaushal和斯坦福大学生物工程、遗传学、医学和医学教授Russ Altman一起放射学和生物医学信息学研究教授科特·朗洛茨(Curt Langlotz)研究了五年的同行评审文章,这些文章训练了一种深度学习算法,用于一项旨在协助患者护理的诊断任务。在可以描述地理来源的美国研究中,他们发现大多数(71%)使用来自加利福尼亚州、马萨诸塞州或纽约州的患者数据来训练算法。大约60%的游戏完全依赖于这三个地区。34个州根本没有代表,而其他13个州提供的数据有限。

这项研究没有暴露在地理上训练的人工智能的坏结果,但对其他领域患者的算法有效性提出了质疑。“我们需要了解这些偏见的影响,以及是否应该投入大量资金来消除它们,”斯坦福大学以人为本人工智能研究所副主任奥特曼说。

奥特曼说:“地理位置与无数与健康相关的事情有关。”“这与你的生活方式、你吃的东西和你接触的饮食有关;它可能与天气暴露有关,也可能与其他暴露有关,这取决于你是否生活在水力压裂或EPA有毒化学物质含量高的地区——所有这些都与地理有关。”

如果这些数据集被用于来诊断美国各地的病人,“你可能会对样本中不包括的人造成实际伤害。”

有限的数据也意味着有限的视野。考沙尔说:“你拥有的数据会影响你首先可以研究的问题。”“如果我只能获得加利福尼亚州、马萨诸塞州和纽约州的数据,我就可以构建算法来帮助这些地方的人们。但在其他地区更常见的问题甚至不会出现在我的雷达上。”

这项研究的结论是:开发创新的人工智能算法需要更大、更多样化的数据集。斯坦福大学医学和成像人工智能中心主任朗洛茨说:“斯坦福大学在为科学免费提供诊断数据集方面走在了前列,这比迄今为止任何其他中心都要多。”“但这很贵,而且还不够。需要资源来帮助全国各地的中心为更多样化的培训数据集做出贡献。”

当医疗人工智能系统是根据狭窄的训练数据集开发出来时,公众也应该持怀疑态度。监管机构必须仔细审查这些新的机器学习系统的训练方法。

考沙尔说:“在早期临床试验之前,医学一直在走这条路——早期临床试验没有太多考虑性别、种族或地理多样性,我们仍在努力解决这一疏忽。”“随着人工智能进入临床医学,我们不应该等30、40年再犯同样的错误,然后再改正。我们应该看到这个问题的发展方向,并提前解决它。”


进一步探索

神经网络可以判断肺癌的严重程度

更多信息:Amit Kaushal等人。用于训练深度学习算法的美国队列的地理分布,《美国医学会杂志》(2020)。DOI: 10.1001 / jama.2020.12067
所提供的斯坦福大学
引用:医疗人工智能工具中的地理偏差(2020年9月23日)检索于2022年6月10日,从//www.puressens.com/news/2020-09-geographic-bias-medical-ai-tools.html
这份文件受版权保护。除为私人学习或研究目的而进行的公平交易外,未经书面许可,不得转载任何部分。内容仅供参考之用。
6股票

对编辑的反馈