人类的大脑是如何检测语言中的“音乐”的

人类的大脑是如何检测语言中的“音乐”的
研究人员已经确认了大脑中有助于辨别相对音高变化的神经元,它们在帮助人类从言语中提取意义方面发挥着重要作用。资料来源:卡拉·谢弗/美国科学促进会

UC San Francisco的研究人员在人类大脑中鉴定了神经元,这些内部是口语语言的音调变化,这对于清楚地传达意义和情感至关重要。

该研究于2017年8月24日在线发表科学由加州大学旧金山分校威尔神经科学研究所神经外科教授爱德华·张医学博士的实验室领导,并由张实验室的四年级研究生克莱尔·唐领导。

“该实验室的任务之一是了解将声音转化为意义,”唐说。“我们在这里看到的是,大脑的新皮层中有神经元,它们不仅处理说了什么,还处理这些词是如何说的。”

声音的变化在言语中——语言学家称之为言语韵律的一部分——是人类交流的一个基本部分,几乎和音乐的旋律一样基本。在有声调的语言中,比如普通话,音高的变化可以完全改变一个单词的意思,但即使是在像英语这样的无声调语言中,音高的差异也可以显著地改变一句口语的意思。

例如,“莎拉扮演足球,”莎拉“用下降沥青说出,可以由演讲者使用,以沟通那个莎拉,而不是其他人,扮演足球;相比之下,“莎拉扮演足球”表明莎拉扮演足球,而不是其他一些游戏。并在句子结束时添加一个上升的语气(“莎拉戏剧足球?”)表明这句话是一个问题。

大脑的动态翻译这些音调变化的能力尤其值得注意的是,考虑到每个扬声器也有自己的典型的音调和风格(也就是说,有些人低声音,别人有很高的声音,甚至和其他人似乎结束语句好像问题)。此外,大脑必须追踪并解释这些音高变化,同时分析发出的是哪些辅音和元音,它们构成了什么单词,以及这些单词是如何组合成短语和句子的——所有这一切都在一毫秒内发生。

人类听觉皮层的神经群对说话中音调的变化做出反应。在这段视频中,我们展示了大脑的一个小区域对三句话的反应所记录的皮层活动。随着句子的音调变高,神经活动(表现为大脑中圆形的颜色和大小)也会增加。资料来源:克莱尔·唐/ UCSF

先前的研究在人类和非人类的灵长类动物发现了大脑的额叶和颞皮层音调和敏感的语调,但没有回答的问题是如何在这些区域检测和神经元表示音高的变化通知大脑的理解演讲者的意思。

大脑颞叶皮层中不同的神经元组区分说话人、语音和语调

Chang是加州大学旧金山分校癫痫中心的一名神经外科医生,专门从事切除导致癫痫患者癫痫发作的脑组织的手术。在某些情况下,为这些操作做准备,他把高密度阵列微电极表面上的病人的大脑,帮助识别位置引发病人的发作和制定其他重要领域,如那些参与语言,以确保手术避免损坏它们。

在这项新的研究中,唐让10名等待手术的志愿者听三种不同的合成声音说出的四句话的录音:

"人类重视真正的行为"

“电影要求最小的能量”

"驯鹿是视觉动物"

“律师给出相关意见”

这些句子被设计成具有相同的长度和结构,并且可以用四个不同的语调播放:中立,强调第一个单词,强调第三个词,或作为一个问题。你可以看到这些语调改变如何改变句子的含义:“人类[不像克林斯]价值真正的行为;”“人类价值真正的[不是虚伪]行为;”和“人类价值真正的行为?”[他们真的吗?]

唐和她的同事们监测了志愿者听觉皮层中被称为颞上回(STG)的部分神经元的电活动,之前的研究表明,这可能在处理语音韵律方面发挥了一些作用。

他们发现STG中的一些神经元可以区分三个合成的扬声器,主要基于其平均声音间距范围的差异。其他神经元可以区分四个句子,无论是哪个扬声器都在说这些讲话,基于句子的不同类型(或音素)(“驯鹿”声音与“律师”不同,无论是谁在谈话)。然而,另一组神经元可以区分四种不同的语调模式。这些神经元改变了他们的活动,具体取决于重点在句子中落在句子的位置,但不关心它是或者是谁这么说。

为了证明他们已经破解了大脑从句子中提取语调信息的系统,研究小组设计了一种算法来预测神经元对任何句子的反应应该会根据说话人,语音和语调而改变然后用这个模型来预测志愿者的神经元对数百个不同说话人录下的句子的反应。他们展示了响应于不同的扬声器的响应于扬声器的声音绝对的音高,响应语调的人更专注于相对节奏:扬声器的声音如何从录制期间从时刻变化到时刻。

“对我来说,这是我们研究中最令人兴奋的方面之一,”唐说。“我们不仅能够显示出韵律在大脑中的编码位置,而且还能够通过音调的特定变化来解释该活动。”

这些发现揭示了大脑如何开始分解构成语言的复杂的声音流,并识别关于我们所听到的意义的重要线索,唐说。谁在说话,他们在说什么,同样重要的是,他们是怎么说的?

“现在,一个主要的悬而未决的问题是大脑如何控制我们的声道,使这些语调语音,”张说,该论文的资深作者。“我们希望能尽快解开这个谜团。”

来自UCSF癫痫中心的志愿者能够深入了解人类大脑的工作

参与该研究的患者均为UCSF进行严重,未经治疗的癫痫术后的手术。脑外手术是一种强大的方式来停止癫痫的曲目,可能完全完全停止癫痫发作过夜,其成功与医疗团队可以映射大脑的准确性直接相关,识别负责个人癫痫发作的确切组织删除它们。

UCSF综合性癫痫中心是使用先进的颅内监测来映射难以捉摸的癫痫发作脑区的领导者。通过在大脑外表面或皮质上的颅骨下面将柔性电极阵列放置在颅骨上并记录大脑的活动来完成映射,以便针对负责触发癫痫发作的脑部的部分。在几周后的第二个手术中,除去电极,并去除导致癫痫发作的不健康的脑组织。

此设置也允许难得的机会向基本问题提出关于如何的基本问题作品,例如控制如何说话。言语电机控制的神经系统基础仍然是未知的,直到现在,因为科学家无法研究动物中的语音机制,因为非侵入性成像方法缺乏跟踪脑电信号的快速时间过程的能力,这使得产生语音的肌肉的肌肉信号在百分之百秒钟内变化。

但是,外科手术前的大脑测绘可以直接记录神经活动,可以检测几毫秒量级的电活动的变化。


进一步探索

跳出:大脑如何从噪音中提取意义

更多信息:唐艾尔,“语调语音韵律编码在人类听觉皮层,”科学(2017)。1126 / science.aam8577 science.sciencemag.org/cgi/doi……
期刊信息: 科学

引用人类大脑是如何检测语言中的“音乐”的(2017年8月24日),2021年5月2日从//www.puressens.com/news/2017-08-human-brain-music-speech.html网站上检索
此文件受版权保护。除作私人学习或研究之公平交易外,未经书面许可,任何部分不得转载。本内容仅供参考之用。
139股票

反馈给编辑

用户评论