研究提醒人们在比较神经网络和大脑时要谨慎
神经网络是一种松散模仿人脑组织的计算系统,构成了许多人工智能系统的基础,用于语音识别、计算机视觉和医疗图像分析等应用。
在神经科学领域,研究人员经常使用神经网络试图模拟大脑执行的同一类任务,希望这些模型可以提出关于大脑本身如何执行这些任务的新假设。然而,麻省理工学院的一组研究人员敦促,在解释这些模型时应该更加谨慎。
在对超过11000个被训练用来模拟网格细胞(大脑导航系统的关键组成部分)功能的神经网络的分析中,研究人员发现,当神经网络被给予非常具体的约束时,它们才会产生类似网格细胞的活动生物系统.
麻省理工学院前高级研究员Rylan Schaeffer说:“这表明,为了获得网格细胞的结果,研究人员需要训练模型,用特定的、生物学上不可信的实现选择来烘焙这些结果。”
在没有这些限制的情况下,麻省理工学院的研究小组发现,很少有神经网络产生网格细胞样的活动,这表明这些模型不一定产生对大脑如何工作的有用预测。
Schaeffer现在是斯坦福大学计算机科学专业的研究生,他是这项新研究的主要作者,该研究将于本月在2022年神经信息处理系统会议上发表。大脑和认知科学教授、麻省理工学院麦戈文大脑研究所(McGovern Institute for brain Research)成员Ila Fiete是这篇论文的资深作者。Mikail Khona是麻省理工学院的一名物理学研究生,也是一名作家。
网格单元建模
几十年来,研究人员一直在使用神经网络来执行各种计算任务,它由数千或数百万个相互连接的处理单元组成。每个节点与网络中的其他节点之间有不同强度的连接。当网络分析大量的数据时,这些连接的强度随着网络学习执行所需的任务而变化。
在这项研究中,研究人员关注的是用来模仿大脑网格细胞功能的神经网络,网格细胞存在于哺乳动物大脑的内嗅皮层。在一起地方的细胞在海马体中,网格细胞形成了一个大脑回路,帮助动物知道它们在哪里,以及如何导航到不同的位置。
当动物处于特定位置时,位置细胞就会被激活,而且每个位置细胞可能对多个位置做出反应。另一方面,网格细胞的工作原理非常不同。当动物在一个空间(如房间)中移动时,网格单元只有在动物位于三角形网格的一个顶点时才会触发。不同的网格单元组创建了尺寸略有不同的网格,这些网格彼此重叠。这允许网格单元格使用相对较少的单元格编码大量的惟一位置。
这种类型的位置编码也使得根据给定的起点和速度预测动物的下一个位置成为可能。在最近的几项研究中,研究人员训练神经网络执行同样的任务,这被称为路径集成。
为了训练神经网络执行这项任务,研究人员向它输入一个起点和一个随时间变化的速度。该模型基本上模仿了动物在空间中漫游的活动,并在其移动时计算更新的位置。当模型执行任务时,可以测量网络中不同单元的活动模式。每个单元的活动可以用放电模式来表示,类似于大脑中神经元的放电模式。
在之前的几项研究中,研究人员报告称,他们的模型产生的单元具有与网格细胞放电模式密切相似的活动模式。这些研究得出的结论是,在任何被训练来执行路径集成任务的神经网络中,网格细胞样的表示都会自然地出现。
然而,麻省理工学院的研究人员发现了截然不同的结果。在对1.1万多个神经网络进行路径整合训练的分析中,他们发现,尽管近90%的神经网络成功地学习了任务,但只有大约10%的网络生成了可以被归类为网格细胞样的活动模式。这包括那些甚至只有一个单元获得高网格分数的网络。
根据麻省理工学院团队的说法,早期的研究更有可能产生网格细胞一样的活动,只是因为研究人员在这些模型中建立的限制。
“早期的研究表明,如果你训练网络进行路径集成,你就会得到网格细胞。我们发现,相反,你必须做出一长串的参数选择,我们知道这些参数与生物学不一致,然后在这些参数中的一小部分,你就会得到想要的结果,”谢弗说。
更多生物模型
在早期的研究中发现的一个限制是,研究人员要求模型将速度转换为一个独特的位置,由一个对应于位置单元的网络单元报告。为了实现这一点,研究人员还要求每个定位细胞只对应一个位置,这不是生物定位细胞的工作方式:研究表明,海马体中的定位细胞可以对多达20个不同的位置做出反应,而不是只有一个。
当麻省理工学院的团队调整模型,使定位细胞更像生物定位细胞时,模型仍然能够执行路径整合任务,但它们不再产生网格细胞一样的活动。当研究人员指示模型生成不同类型的位置输出时,网格细胞样的活动也消失了,例如在X轴和Y轴的网格上的位置,或位置作为相对于home点的距离和角度。
Fiete说:“如果你要求这个网络做的唯一的事情是路径集成,并且你对读出单元施加一组非常具体的,而不是生理上的要求,那么就有可能获得网格细胞。”“但如果你放松了这个读出单元的任何这些方面,就会严重削弱网络生成网格细胞的能力。事实上,它们通常不会,即使它们仍然解决了路径集成任务。”
因此,如果研究人员还不知道网格细胞的存在,并引导模型产生网格细胞,它们就不太可能作为模型训练的自然结果出现。
研究人员说,他们的发现表明,在解释大脑神经网络模型时,需要更加谨慎。
Fiete说:“当你使用深度学习模型时,它们可能是一个强大的工具,但在解释它们和确定它们是否真的在进行从头预测,甚至揭示大脑正在优化的是什么时,必须非常谨慎。”
伦敦大学学院(University College London)定量神经科学教授肯尼斯·哈里斯(Kenneth Harris)表示,他希望这项新研究能鼓励神经科学家在阐述两者之间的类比可以证明什么时更加谨慎神经网络还有大脑。
“神经网络可以成为一个有用的预测来源。如果你想知道大脑是如何计算的,你可以训练一个网络为了完成它,然后测试大脑以同样的方式工作的假设。不管这个假设是否被证实,你都会学到一些东西,”没有参与这项研究的哈里斯说。“这篇论文表明,‘后判’没有那么强大:神经网络有很多参数,所以让它们复制现有的结果并不令人惊讶。”
麻省理工学院的研究人员说,当使用这些模型来预测大脑如何工作时,在建立模型时考虑到现实的、已知的生物学限制是很重要的。他们现在正在研究网格细胞的模型,希望能产生更准确的预测网状细胞在大脑中工作。
“深度学习模型将让我们深入了解大脑,但只有在你向模型中注入大量生物学知识之后,”科纳说。“如果你使用正确的约束条件,那么模型可以给你一个大脑式解决方案。”
本文由麻省理工学院新闻(web.mit.edu/newsoffice/),这是一个很受欢迎的网站,涵盖麻省理工学院的研究、创新和教学方面的新闻。