学习策略与不同的神经特征有关

学习的过程需要不断更新我们对未来奖励预期的复杂能力，这样我们才能在面对变化的环境时对这些奖励做出准确的预测。尽管我们还不清楚大脑是如何协调这一过程的，但加州理工学院(California Institute of Technology)研究人员的一项新研究表明，两种截然不同的学习策略的组合指导着我们的行为。

一篇关于这项工作的论文将发表在5月27日的杂志上神经元。

一种被广为接受的学习策略叫做无模型学习，它依赖于我们在特定情况下期望的奖励和我们实际得到的奖励之间的试错比较。这种比较的结果是产生“奖励”预测错误，这就对应了这种差异。例如，奖励预测错误可能对应于金融投资的预期货币回报和我们的实际收益之间的差异。

第二种机制叫做基于模型的学习大脑生成环境的认知地图，描述不同情况之间的关系。“基于模型的学习与‘状态预测错误’的产生有关，‘状态预测错误’代表了大脑在当前环境估计下对新环境的惊讶程度，”加州理工学院的博士后学者、该研究的第一作者Jan Gläscher说。

Gläscher网站说:“想象一下这样一种情况，你下班后总是沿着相同的路线开车回家，但有一天由于建筑施工，你通常的路线被堵住了。”“一个没有模型的学习系统将会无可救药地迷失;它只关心采取过去具有奖励意义的行动，所以如果这些行动不再有效，它便无法决定下一步该去哪里。但是一个基于模型的系统将能够查询它的认知地图，并利用其他路线找出一个有效的弯路。”

“虽然更简单的无模型学习机制已经得到了很好的研究，而且它的基本学习机制——由奖励预测错误驱动——也相对被理解，但更复杂的基于模型的学习系统具有丰富的适应性和灵活性，加州理工学院(Caltech)心理学教授、爱尔兰都柏林三一学院(Trinity College)认知神经科学托马斯·n·米切尔(Thomas N. Mitchell)教授约翰·p·奥多尔蒂(John P. O’doherty)说。

为了进一步表征这两个学习系统的神经系统支撑，Gläscher，O'doherty及其同事设计了一种基于计算机的决策任务，使它们能够测量大脑计算奖励和状态预测误差信号的时间和地点，以及确定这两种类型的错误是否实际产生不同的神经签名。

在任务中，受试者必须在左右运动之间做出选择，使它们在虚拟环境中的图形图标中的不同“状态”之间转移;该过程类似于在简单的视频游戏中导航的过程。在此虚拟环境中所做的每个左或权利选择都导致了对新状态的主题。他们的目标是达到一个特定的目标状态，以获得货币奖励，“他们在那个目标状态最终结束的机会强烈地取决于他们所做的连续选择的特定模式，”O'Doherty解释道。

基于模型的系统可以了解虚拟环境的结构,然后使用这些信息来计算所需的行动回报国家,在某种程度上类似于一个棋手如何试图思考顺序象棋移动需要赢得比赛。另一方面，一个无模型的系统只会学会盲目地选择那些在过去给予奖励的行为，而不评估当前情况下的后果。

18名参与者在学习任务时接受了功能性磁共振成像扫描。大脑扫描显示了先前在无模型学习过程中产生的奖赏预测错误的独特神经特征，它位于大脑中部一个叫做腹侧纹状体的区域。然而，在基于模型的学习过程中，状态预测错误的神经特征出现在大脑皮层的两个不同区域:顶叶内沟和外侧前额叶皮层。

这些观察表明，人类大脑中计算出了两种独特的错误信号，它们发生在不同的大脑区域，可能代表了指导行为的不同计算策略。“一个无模型的系统在高度自动化和重复的情况下运行得非常有效，例如，如果我经常走相同的路线下班回家，”Gläscher说，“而一个基于模型的系统，尽管需要更大的大脑处理能力，能够灵活地适应新情况，比如在遇到障碍物后需要找到一条新路线。”

这两个截然不同的学习Gläscher说，机制在控制人类行为方面起着互补的作用。“因为我们大脑的处理能力是有限的，所以部署更密集的基于模型的系统来控制我们所做的一切是没有意义的。”相反，对于我们的许多日常行为，最好是依赖无模型系统，而只在新的或复杂的情况下使用基于模型的系统。进一步研究的一个重要领域将是试图了解影响这些系统如何相互作用以控制行为的因素，并确定这是如何在大脑中执行的。”

---

---