研究人员发明了语音识别的“神经指纹”
荷兰马斯特里赫特大学(Maastricht University)的科学家发明了一种方法,可以观察一个人的大脑,并读出谁和他(她)说过话以及说了什么。在神经成像和数据挖掘技术的帮助下,研究人员绘制了与语音和声音识别相关的大脑活动。
在他们的科学文章“谁”在说“什么”?基于大脑的人类声音和语音解码这四位作者证明,语音和声音可以通过听者大脑中独特的“神经指纹”来识别。在未来,这种新知识可以用于改进自动语音和说话人识别的计算机系统。
七名研究对象听了三个不同的人说的三种不同的语音(元音/a/, /i/和/u/),同时使用神经成像技术(fMRI)绘制他们的大脑活动。在数据挖掘方法的帮助下,研究人员开发了一种算法,将这种大脑活动转化为确定语音或声音身份的独特模式。
声带振动的各种声学特征(神经模式)被发现决定了大脑活动。就像真正的指纹一样,这些神经模式是独特而具体的:如果别人说出语音,语音的神经指纹不会改变,而说话者的指纹保持不变,即使这个人说了不同的话。
此外,这项研究还揭示了部分复杂的声音解码过程发生在大脑中先前只与声音处理早期阶段相关的区域。现有的神经认知模型假设,处理声音需要大脑的不同区域按照一定的层次进行积极的处理:在听觉皮层进行简单的处理后,更复杂的分析(将语音转化为单词)会在大脑的特定区域进行。
然而,这项研究的结果表明,语言的等级处理更少,更多地分散在大脑中。
资料来源:荷兰科学研究组织