人工智能基于x射线诊断肺部疾病
![The first row contains lung X-ray images. The second row lists the diagnoses made by human radiologists. These are elaborated in the paragraphs provided in the third row. The bottom row contains comparable captions generated by the neural networks. The underlined fragments show that, while the text could clearly use some postediting, the AI- and the human-generated captions substantially coincide. Credit: Alexander Selivanov et al./Scientific Reports 人工智能基于x射线诊断肺部疾病](https://scx1.b-cdn.net/csz/news/800a/2023/ai-diagnoses-lung-dise.jpg)
Skoltech研究人员训练神经网络寻找肺癌病理x射线图像和想出简短的语言描述来陪他们。这个任务目前由医生,需要几分钟才能完成。根据人工智能解决方案的创造者,这次技术降低到大约30秒时不需要相当大的文本修订。在大多数情况下,放射科医生只是建议diagnosis-e.g确认。、肝纤维化、心脏扩大或疑似恶性肿瘤或者没有。这项研究已经发表在科学报告。
解决方案依赖于现代机器视觉和计算机语言学模型,包括广受欢迎的GPT-3小前任gpt - 3.5和GPT-4模型可以通过ChatGPT机器人。
“常规模型仅仅是分类,但我们的神经网络利用先进的机器视觉和计算机语言学模型自动描述x射线图像的话说,“它的创造者之一,Skoltech研究科学家奥列格•罗戈夫说。
图像文字组成的神经网络训练数据对。“我们编译自己的放射字典模型更准确,特别是在辐射术语及其使用文本。自然,我们也建立一个大型综合数据库的x射线图像作为训练数据,”罗戈夫说,强调神经网络只是“知道”可以表现在肺癌的诊断x射线。训练集是平衡方面的疾病。
对系统进一步发展的可能性包括应用MRI和CT扫描,以及将主动学习。后者是指模型提高预测,考虑人类评论者让编辑。解决方案也可以结合另一个神经网络图形化,从而突出标题中提到的感兴趣的领域。
更多信息:亚历山大Selivanov et al,通过生殖医学图像字幕pretrained变压器、科学报告(2023)。DOI: 10.1038 / s41598 - 023 - 31223 - 5