医疗人工智能现在可以预测生存率，但还没有准备好在患者身上发挥作用

研究人员最近发明了一种算法，可以猜测心脏病患者是否有生活或死亡从他们的情况一年内。通过从被称为心电图或心电图的心脏电活动的测试中查看数据，该算法在85％的情况下成功地预测患者存活。但它的开发人员无法解释算法如何做到这一点。其规定的目的是找到医生在心电图中看不到的以前未知的信息。

由美国医疗保健提供商盖辛格开发算法使用来自40万名患者的170万份心电图结果进行训练，其中包括一些死于心脏病的患者，还有一些活了下来的患者。但该算法能否像利用历史数据那样准确、公正地预测新病例还有待检验。开发人员表示，需要进行试验，看看预测是否能达到类似的准确性水平。虽然这种算法有很多潜力，但我们有理由对仓促使用这种人工智能(AI)系统进行诊断保持警惕。

对算法的发现保持谨慎的一个原因是，使用历史数据训练的算法经常会有偏见。这是因为目前用于训练算法的大部分历史数据可能绝大多数来自男性和白人受试者，这可能会影响其准确性。例如，可以预测皮肤癌的算法比皮肤科医生原来是诊断黑皮肤的人就不那么准确了因为系统主要受到白人数据的培训。

历史数据也可能包含反映社会劣势(而非医疗差异)的偏见，比如某一疾病在少数群体中更常见，是因为他们获得医疗保健的机会更差。这种偏见不仅仅存在于与健康有关的算法，还有算法面部识别和照片标签那招聘,警卫和刑事司法。

因此，盖辛格算法需要进一步测试，以确定预测率是否对一定范围的人群同样准确。例如，它在预测女性死亡风险方面是否与男性同样准确?毕竟，我们知道男性和女性会有不同的心脏病发作症状能从心电图上看出来吗。

盖辛格模型也是一个“黑盒”系统这意味着它做出的决定无法被专家解释，因此可能存在开发者不知道的偏见。许多研究人员和政策制定者觉得这是开发“黑盒”算法是不可接受的因为它们可以是歧视性的，所以许多算法已经开发的速度意味着目前一些法律和规定到位来确保这一点只有公正的AI模型正在开发。

一个解决方案可以是创造“可辩解的AI”(新品)。这些系统设计是为了让研究人员看到什么吗关键数据特性一个算法关注的是，它是如何做出决定的。这可以帮助他们最小化算法可能存在的偏差。

其他的指导方针标准也可以帮助研究人员发展更加公平透明的人工智能。的IEEE P7003.Standard向开发人员展示了如何确保他们在数据集中识别所有受影响的群体，测试任何偏见，并建议如何评估和减轻偏见的风险。IEEE P7001.指南如何使AI透明和解释。

理解算法

了解景角算法如何做出决策也很重要，因此医生可以了解模型可能已经发现的心脏病风险的任何新特征。例如，另一种分析图像的算法检测臀部骨折通过专注于提供的额外临床数据来完成决定。这揭示了患者年龄等因素或使用移动扫描仪的重要性（指示该人在太多疼痛到主要扫描仪）。

研究表明了看待图像和临床数据的诊断都是如此。但是，如果研究人员无法解释算法如何使其预测如何，这可能意味着算法不能更开发更多以供以后用于诊断。

如果医生没有意识到算法所关注的特征，他们可能会在自己的分析和算法的发现中包括这些特征。这将有效地计算特性两次，过分强调它们的重要性，甚至可能产生误诊。医生也可能会过度依赖算法，可能会减少与患者的互动，甚至有可能影响医生的整体技能水平。

例如,设计人工智能的研究人员为了诊断儿童疾病（如支气管炎和扁桃体炎）发现其诊断优于初级医生的诊断。然而，高级医生仍然能够比AI更准确的诊断。因此，如果没有正确使用，这些系统可能会冒险医生从未达到当前高级医生的技能水平。

因此，重要的是要考虑这些系统是如何实现的，以及它们是否符合部门级别的指导。把最终诊断结果留给医生，可能会让应用程序的诊断更准确，并防止技能丧失。如果模型可以清楚地解释，任何偏见对医生来说都是显而易见的，那么这种情况就会特别明显。

尽管盖辛格算法可以预测一个人是否幸存，但重要的是要对这种说法保持谨慎，因为人工智能可以包含基于它的训练和设计方式的错误。人工智能系统应该增强人类的决策能力，而不是取代人类或医疗提供者。正如盖辛格团队所建议的，这种人工智能有可能将心电图解读为更广泛的诊断工具的一部分——事实上，它不是一种预测一个人是否会死亡的方法。

---

---

本文转载自谈话在创造性的公共许可证下。阅读来源文章。