研究人员将鸟类的大脑活动转化为歌曲

加州大学圣地亚哥分校的一项首次概念验证研究表明，仅通过读取鸟类的大脑活动就可以重现鸟类的歌声。研究人员能够复制这种鸣禽的复杂叫声，精确到音高、音量和音色。

6月16日当代生物学这项研究为为失去说话能力的人制造发声假体奠定了基础。

加州大学圣地亚哥分校心理学和神经生物学教授、资深作者蒂莫西·金特纳说:“目前最先进的通信义肢是可植入的设备，它可以让你产生文本输出，每分钟最多写20个单词。”“现在想象一下，有一个语音假肢，可以让你自然地用语言交流，几乎在你思考的时候大声说出你在想什么。这是我们的最终目标，也是功能恢复的下一个前沿领域。”

根特纳和同事们使用的方法涉及到斑马草雀等鸣禽。这与人类的发声假体之间的联系可能不明显，但事实上，鸣禽的发声与人类的相似人类语言以各种方式。它们很复杂，是习得的行为。

“在许多人的心目中，从鸣禽模型到最终将用于人类的系统是一个相当大的进化跳跃，”加州大学圣地亚哥分校电气和计算机工程教授维卡什·吉尔贾(Vikash Gilja)说，他是这项研究的合著者。“但这个模型为我们提供了一种复杂的行为，这是我们在通常用于神经假体研究的典型灵长类动物模型中无法获得的。”

这项研究是加州大学圣地亚哥分校的工程师和神经科学家之间的交叉合作，Gilja和Gentner实验室合作开发神经记录技术和神经解码策略，利用两个团队在神经生物学和行为实验方面的专业知识。

研究小组在雄性成年斑胸草雀体内植入了硅电极，并监测了它们的大脑活动。神经活动当他们唱歌的时候。具体来说，他们记录了大脑中最终控制负责唱歌的肌肉的感觉运动部分的多个神经元群的电活动。

研究人员将神经记录输入机器学习算法。他们的想法是，这些算法将能够根据斑胸草雀的神经活动，用计算机生成实际歌曲的副本。但是将神经活动模式转化为声音模式并非易事。

金特纳说:“有太多的神经模式和声音模式，无法找到一种解决方案来直接将一个信号映射到另一个信号上。”

为了完成这一壮举，研究小组使用了鸟类发声模式的简单表示。这些本质上是模拟物理变化的数学方程，即压力和张力的变化，这些变化发生在雀的发声器官(鸣管)中，当它们唱歌时。然后，研究人员训练他们的算法，将神经活动直接映射到这些表征上。

研究人员说，这种方法比必须将神经活动映射到实际的歌曲本身更有效。

Gilja说:“如果你需要模拟每一个细微差别，每一个潜在声音的细节，那么映射问题就变得更具挑战性。”“通过对鸣禽复杂的发声行为进行简单的表示，我们的系统可以学习到更强大、更可推广到更广泛的条件和行为的映射。”

研究小组的下一步是证明他们的系统可以根据神经活动实时重建鸟鸣。

部分挑战在于鸣禽的发声和人类一样，不仅包括声音的输出，还包括对环境的持续监测和对反馈的持续监测。例如，如果你给人类戴上耳机，并在他们听到自己的声音时延迟，只干扰暂时的反馈，他们就会开始口吃。鸟类也做同样的事情。他们在听自己的歌。金特纳解释说，他们会根据自己刚刚听到的歌曲和接下来想要唱的歌曲进行调整。一个成功的语音假体最终需要在一个同样快速且足够复杂的时间尺度上工作，以适应整个反馈循环，包括对错误进行调整。

“通过我们的合作，”金特纳说，“我们正在利用40年对鸟类的研究，为人类制造一种语音假肢——这种设备不仅能将人的大脑信号简单地转换成一组基本的完整单词，而且能让他们发出任何声音，任何他们能想象到的单词，让他们自由地进行任何他们想要的交流。”

---

---