研究揭示了视觉在元音感知中的作用

对于所有的讲话者，除了最佳的伴文会中，讲话的生产伴随着可见的面部运动。因为言论不仅仅是声音，研究人员就是确定在区分元音声音时，确定人们寻求的确切视觉信息。

该研究的第一作者、现任波士顿大学(Boston University)教授、布朗大学(Brown University)博士后马修·马萨阿波罗(Matthew Masapollo)说:“在我们的研究领域，一个重要且备受争议的问题是，我们在言语中关注的是什么——感知的对象是什么?”“另一个争论的问题是，由于语音处理不是纯粹的声音信号，它是否与其他类型的听觉处理特殊而不同。”

Masapollo说，解决这些问题将改善对我们如何看待言论的科学了解。反过来，又适用于更可理解的在线头像和物理机器人的设计，甚至可以提高计算机识别人类语音，并增强用于听力障碍的通信设备。

Masapollo说，虽然已经有大量的研究调查了言语的哪些听觉特征是重要的，但很少有研究关注哪些视觉成分是重要的，尽管从唇读这样直观的现象中有证据表明，言语的视觉也很重要。

通过在蒙特利尔的布朗和麦吉尔大学的一系列实验实验心理学杂志：人类感知与表现他和同事们发现，当人们感知语言时，他们会密切关注嘴唇的形状和运动。如果这两种线索中任何一种缺失了，他们就能在元音听起来很可能会受到尺寸。

“调查结果表明，成年人对一个人谈话发生的可观察的形状和运动模式敏感，”Masapollo表示，作为一名研究人员，作为高级作家詹姆斯摩根，一个棕色教授的认知，语言学和心理科学。

利用言语感知的差异

今年早些时候，Masapollo在Juncials在Journal中展示了他和共同作者林达波尔卡和LucieMénard的新研究表认识人们在视觉感知元音时表现出与听到元音时相同的“方向不对称”:如果发音不太清晰的版本先出现，然后出现更极端的版本，他们就能更好地区分两个版本的“oo”音，就像单词“loose”中一样。如果顺序互换，他们就不太可能通过视觉或声音辨别它们。虽然这些定向效应看起来像是一种古怪的本能，但它们反映了一种普遍的偏好，即对带有极端发音技巧的元音情有可原。目前的研究主要集中在揭示哪些极端元音的显著特征或特性导致了这些知觉不对称性。

事实证明，这种不对称在法语和英语之间发挥出来，在许多加拿大人的双语演讲中表现出来。在说法语时，他们的“OO”的铰接是通过更明显的唇形突起和舌头定位来生产，而不是在英语中制作相同的元音。

在这项新研究中，Masapollo意识到，元音产生和感知的不对称性为确定哪些视觉特征在区分细微的语音差异中起重要作用提供了一个很好的机会。他设计并领导了五个实验，以找出与这种不对称性相关的视觉信息。

第一阶段，在布朗大学的研究生和合著者劳伦·富兰克林的帮助下，他使用了眼球追踪技术来测量布朗大学的学生志愿者在观看一名双语加拿大女性用法语和英语发出“oo”音的视频时看了哪里。毫无疑问，比起眼睛，人们更关注嘴巴。

但是嘴巴呢？为了确定运动，而不是简单地是特定位置，是重要的，下一个实验呈现了静止框架而不是视频的学生。在实验中，McGill的志愿者试图使用同一扬声器的静止图像来区分“OO”演讲。如果没有动议的提示，结果表明，法语 - 英语或英语 - 法语订单不再发生，表明动作是这种元音感知的本能中的关键组成部分。

在接下来的三个实验中，研究小组继续调查布朗大学和麦吉尔大学的学生志愿者中，哪些视觉方面的语言感知很重要。在第三项实验中，受试者看到的不是一张脸，而是一组菱形排列的4个点，它们像说话人的嘴唇一样移动。例如，当说话者噘起嘴唇发出“oo”时，这些点会靠得更近。Masapollo的假设是，位置和运动可能会同时影响，即使脸部并没有被真实呈现出来。在这个实验中，人们回到了显示不对称的状态，这表明他走在正确的轨道上。

第四项实验是完全相同的，但是圆点图案顺时针旋转了45度，显示出更多的正方形而不是菱形。这里没有出现不对称，这表明点的方向代表说话的嘴的问题。在实验五中，这个动作用一个侧面的数字“8”来表示，它的移动方式类似于说话人的嘴唇。在那里，即使没有基本的嘴巴，人们也没有表现出本能不对称的元音感知。仅仅是动作，没有嘴巴的形状和位置是不够的。

“总的来说，感知的不对称性似乎是由描绘嘴唇运动和结构信息的光学刺激引起的，”作者写道。

对Masapollo来说，结果表明视觉对感知语言有特殊的贡献。

“目前的研究结果表明，我们在言语中关注的信息是多模态的，也许在本质上是手势的，”Masapollo说。“我们的感知系统似乎处理听觉和视觉演讲同样的信息。”

---

---