智能手机游戏数据可以促进自闭症谱系障碍的早期诊断和改善治疗

智能手机游戏数据可以促进自闭症谱系障碍的早期诊断和改善治疗
基于音频的AI检测管道概述。首先是教育电子游戏《猜猜看?》将NT儿童和自闭症儿童的视频从自愿的参与者那里众包。从视频中手动拼接儿童讲话的音频,并在此音频数据上训练3个模型。第一种是随机森林分类器,它使用独立训练的决策树的集合。第二个是CNN。第三个是经过微调的wav2vec 2.0模型。模型1将常用的语音识别特征作为输入,模型2从音频的谱图中学习,模型3将原始音频数据本身作为输入。人工智能:人工智能;ASD:自闭症谱系障碍; CNN: convolutional neural network; NT: neurotypical. Credit:儿科和育儿ob体育开户网址(2022)。DOI: 10.2196/35406

在游戏中你猜怎么着?由斯坦福大学的研究人员发明的智能手机,成年看护者将智能手机放在自己的前额,让孩子模仿屏幕上显示的图像。它可能是一只猴子,一个足球运动员,或者是一张快乐或悲伤的脸。然后,大人猜测孩子在做什么,并通过向前倾斜手机来记录正确答案;向后倾斜是不正确的。

(ASD),这个游戏在家庭环境中提供了一种快速的治疗性学习——帮助他们制作并帮助他们将特定的情绪与各种面部表情联系起来。

但《猜猜怎么着》的价值会更深。每一个90秒的游戏环节都被记录下来,并可以提交给斯坦福大学的研究人员(经过适当的同意和隐私保护)。

“如果我们打开摄像头,我们就能给孩子提供有用的提示,我们就能挑战他们,帮助他们,并在过程中捕捉信息,”小儿科、精神病学和心理学教授丹尼斯·沃尔(Dennis Wall)说ob体育开户网址他是斯坦福大学医学院生物医学数据科学的教授,也是斯坦福大学以人为中心的人工智能研究所的附属教员。

几年来,沃尔和他的同事们一直在收集《猜猜怎么着?》家庭视频记录并使用它们来开发远程诊断自闭症谱系障碍的新方法,改进情绪识别数据集,跟踪儿童识别情绪的进展,并最终改进自闭症谱系障碍的治疗。

这项工作使用了计算机视觉和其他形式的人工智能,也有可能应用于其他类型的行为分析。“沃尔实验室为自闭症开发的方法可以使新的通用人类行为模型适用于各种情况,包括其他发育迟缓、精神健康状况和精神分裂症等情感障碍,”彼得·华盛顿说。他最近在沃尔实验室完成了博士学位,现在是夏威夷大学信息和计算机科学助理教授。

猜什么?起源的故事

患有自闭症谱系障碍的儿童通常很难进行眼神交流,并参与所谓的社会情感互动——来回这需要对非语言线索的理解,其中包括对他人面部表情的识别。沃尔说,社会互惠是在孩子很小的时候学习的最好方法,各种方法都可以教给自闭症儿童——比如使用手持闪存卡——已经被证明是有效的,但不能推广或扩展。

为了解决这个问题,沃尔和他的同事们开发了一个自闭症治疗项目,该项目使用增强现实可穿戴设备——特别是谷歌眼镜——为孩子们提供有关与他们互动的人的情绪的线索。虽然谷歌眼镜的方法受到了媒体的关注,并在随机对照试验中被证明是有效的,但增强现实工具还没有被广泛采用,沃尔说。

为了克服这种限制,沃尔和他的团队开发了《猜猜看?》这依赖于一个更普遍的工具:智能手机。沃尔说:“不同社会经济地位、种族和民族的大多数人都有智能手机。“这使它成为帮助管理健康和提供治疗的有力工具。”沃尔说,智能手机对家庭来说也更自然,因为它为家庭社会交流创造了借口。

但沃尔还有另一个目标:收集自闭症谱系障碍儿童和正常儿童的家庭视频。通过开发一款游戏,让家庭成员可以轻松地与研究人员分享视频,他们希望收集到足够大的数据集,以推动自闭症谱系障碍的诊断和治疗领域向前发展。这些努力正在开始产生成果。

早期和远程诊断自闭症

研究人员知道,早期干预对自闭症儿童是有益的,但在美国,诊断通常需要大约两年时间,平均诊断年龄接近4岁半,沃尔说。此外,自闭症服务在全国各地的分布并不均匀:超过83%的美国县根本不提供自闭症诊断服务。

为了填补这一服务空白,沃尔的团队正在使用猜猜怎么着?开发AI模型,最终可以实现半自动的ASD远程诊断。

我们有充分的理由相信他们能够成功。在早期的研究中,沃尔和华盛顿发现,在观看青少年视频和标注自闭症谱系障碍有意义的特征(如某些类型的重复讲话,缺乏眼神交流,某些头部运动,或特殊的手指使用,如抠手指)方面,众包的非专家和临床医生一样出色。此外:利用这些标记视频,他们训练了一个模型,在另一组视频(也被手动标记了ASD的有意义的特征)中,预测哪些儿童是神经典型的儿童或患有ASD,准确率高(超过90%)。

展望未来,研究小组希望他们的模型能逐渐变得足够智能,从而诊断出脑梗塞在没有人类帮助的情况下然而,为了实现这一飞跃,该团队需要大量的家庭视频来用于模型训练。那就是你猜怎么着?出现的原因。

最近发表在儿科和育儿ob体育开户网址,该团队测试了只使用《猜什么?》的音频部分的想法。视频记录直接预测自闭症谱系障碍,而不依赖任何人类标记相关特征。华盛顿说,音频与自闭症谱系障碍的诊断相关,因为众所周知,许多自闭症儿童的发声方式与正常儿童不同。例如,他们经常重复别人使用的单词,用单调或非典型的音调说话,用不寻常的方式重读他们的单词。

华盛顿说,将基于音频的深度学习方法应用于58名儿童(20名自闭症儿童)的850个音频片段,该团队在区分神经正常儿童和自闭症儿童方面取得了79%的准确率。他说,虽然这在临床上是不够的,但重要的是要记住,因为ASD在不同的人身上有很多表现方式,人们不会指望单靠录音就足以诊断。

事实上,他说:“即使是我们开发的使用人在循环特征提取的众包机器学习模型,也仍然需要至少五种不同的行为或输入特征来实现高性能。”

下一步,该团队将开始将音频信号与视频中的其他类型的行为信息结合起来,如情感识别、手部动作等。华盛顿说:“我对开发多模态模型很感兴趣,它将多个数据源集成到一个可解释的诊断系统中。”“了解自动诊断在多大程度上归因于情绪识别或眼神交流,而不是其他行为,如讲话,将会很有用。”

建立更好的情绪识别数据集

学者们不仅希望他们的游戏能帮助早期诊断自闭症谱系障碍,还希望它能帮助儿童学习和识别他人的情绪。当孩子们使用沃尔和他的团队开发的谷歌玻璃自闭症系统看另一个人的脸时,玻璃会告诉他们另一个人在表达什么情绪。

为了让系统准确可靠地做到这一点,需要一个经过标记面部表情数据集训练的模型。在最近的工作中,沃尔、华盛顿和他们的同事从“猜什么?”视频。然后他们创造了一个“好莱坞方块”类型的游戏,允许非专业人士快速浏览和标记各种情绪的图像。例如,标签人员可以将整个图像标记为快乐或悲伤,而不必点击每张图片。

结果是:用这个标记数据集训练的模型,在识别儿童面部表情的标准基准数据集中的情绪方面,比任何其他现有模型都表现得更好。

未来的机会

就像《猜猜怎么着?》数据集的增长,很可能产生的信息可以反馈到游戏中,以提高其作为教学和治疗工具的有效性,沃尔说。

与此同时,沃尔渴望利用团队的ASD模型来跟踪患有ASD的儿童在一段时间内的表现。例如,他们是否在情感识别方面变得更好了?他们的头部运动、手指运动和眼神交流是否有变化?

他说:“把这些信息结合在一起,你突然有了对ASD表型进展的持续纵向机制理解的潜力,这是一个完全的游戏规则改变者。”“突然之间,你就有了一组时间序列数据,这些数据都来自玩游戏。”


进一步探索

研究发现,眼镜可以帮助自闭症儿童阅读面部表情

更多信息:Nathan A Chi等,从众包半结构化语音记录中分类自闭症:机器学习模型比较研究,儿科和育儿ob体育开户网址(2022)。DOI: 10.2196/35406
所提供的斯坦福大学
引用:智能手机游戏数据可以促进自闭症谱系障碍的早期诊断和改善治疗(2022年,9月28日),2022年10月18日从//www.puressens.com/news/2022-09-smartphone-game-earlier-diagnosis-autism.html检索
本文件受版权保护。除用于个人学习或研究的公平交易外,未经书面许可,不得转载任何部分。内容仅供参考之用。
39股票

反馈给编辑