当我们心算两位数乘法时，大脑会暂存中间结果；当小鼠记住“左转有奶酪”后需要等待几秒再行动——这些都需要短期记忆。过去理论认为，短期记忆需要前额叶皮层中神经元相互激活所形成的“持续放电”来维持信息；而近期的研究发现序列性的神经活动也可能是维持短期记忆的一种形式。
来自复旦大学和斯坦福、哈佛等国际研究团队在ICML（International Conference on Machine Learning）上合作发表的最新研究通过训练8万个人工循环神经网络（RNN），探讨了短期记忆相关序列活动的两种核心机制——它们如同大脑的“计时沙漏”与“旋转陀螺”，在动态竞争中决定信息如何被暂存。
通过观察生物活动就能得到数据，为什么我们还要通过建模探索机制？生物实验有一定的物理限制。目前常见的观察生物神经活动的实验方式有不入体和入体两类。不入体的实验方式，如fMRI，往往因为响应不及时或干扰过多导致准确性较差；而入体的实验方式，如双光子显微技术，因为对生物体的破坏性和可观测范围有限，无法进行更全面的数据收集。
建模的方法使我们可以研究实验难以直接观测的过程。Mongilo的突触理论提出“突触权重存储记忆”这一理论，也就是短期记忆可能通过神经元“握手”力度来存储，但我们无法在生物脑中追踪权重的变化。于是，为了进一步理解短期记忆的神经机制，过往的一些计算建模工作也进行了一些尝试。过往半个世纪以来，持续放电被认为是短期记忆的核心机制，但这无法解释神经元的序列激活方式。在此基础上，本文对神经元序列激活的神经机制进行了一定的探索。
序列活动发生的可能机制
对于神经元序列激活的神经机制，目前常见解释是慢点流形（SP流形，可以理解为计时沙漏）：神经元状态沿一条“慢速轨道”滑行，像沙漏中缓缓下落的沙子，按照顺序激活特定的神经元序列（图示左）。
但按照经典范式对神经元活动进行模拟后，除了模拟出经典的SP流形，还发现神经元序列激活可能还存在另外一种形式：极限环（旋转陀螺），神经元状态沿环形轨道循环，如同旋转的陀螺，不断重复序列（图示右）。
图示SP流形和极限环神经元活动示意
其关键差异在于，任务结束后，极限环会持续旋转，导致周期性的序列输出，而SP流形会稳定在固定状态，于是实验设计中的微小变动可能会改变机制选择。
任务设计：改变记忆机制的“开关”
在经典的延迟线索辨别任务中，小鼠需记住线索（如左/右提示），延迟数秒后做出反应。（图1）
图1 经典短期记忆行为范式
研究人员以该范式为基础，训练RNN网络模型完成任务，通过观察RNN模拟的神经元序列活动的特征，以探讨神经元群体动态编码瞬息信息的神经机制，研究人员让RNN模型学会任务后，继续进行下一个时间点上神经元活动的推演，接着通过降维得到神经元活动的相空间上的流形，可以对神经元的活动状态进行可视化，以揭示系统的内在规律。通过观察流形的特征，发现如下：
1.训练Cue-Delay-Reaction过程后，确实发现了SP流形的基础形式（图3B）。这和现有常见理论一致。随着Delay时间的变长，模型更偏向于极限环形式（图3C）
2.在Reaction过程后添加动物训练过程中必然存在的“静默期”（Post期，图2）。在动物完成动作直到下一个任务来临前，都必然存在一小段的没有任务也没有必要反应的时间。
图2 RNN等效任务设计
这时，本占比40%的SP流形变成极限环占比高达90%的模式，Delay时间的长度几乎不再影响极限环的比例（图3C）。
图3 SP流形和极限环相关分析
记忆时长的“物理极限”
通过训练大规模RNN网络模型，研究者发现学习率与延迟时间存在幂律关系：
。其中，α是神经网络的学习率，可以理解为每次更新参数的程度（多快、多大步长）。在SP流形中，β≈4-5，在极限环中，β≈2-3。某种程度上，这也说明为什么长延迟的任务更难训练，学习率需要指数级降低才更容易避免训练失败。（如图4中“未学习”区所示）
图4神经元状态和参数关系
令人惊讶的是，在增加了反应静默期之后，神经网络几乎不再存在SP流形的模式，极限环模式占多数。即便改变学习率，也只是使神经网络“学不会”任务。这暗示了极限环可能是序列活动发生的机制，而生物体中由于观测范围和时间的限制，很难观测到极限环这一形式。
总结
利用建模来探索生物学上可能的因素已有众多例子2，计算领域和神经科学领域的共同发展也在逐渐解答无法用单个领域知识解释的问题。对于计算领域来说，推测可能影响神经活动的参数有助于构建一个更合理、更完善的人工智能网络，这也是NeuroAI的重要探索领域。虽然现在神经网络方面发展日趋完善，但还存在很多意外情况，本研究工作就暗示了对神经网络微小的改动就可能大幅度影响神经网络的特征。对于神经科学领域来说，由于生物学上的实验观察范围有限，该工作暗示了影响观察到的序列活动的潜在原因：静默期的存在致使大脑中的活动是极限环模式，但观察的时间或范围的不足导致了实验中观察到更偏向于SP流形。
Mongillo, G., Barak, O., & Tsodyks, M. (2008). Synaptic theory of working memory. Science (New York, N.Y.), 319(5869), 1543–1546. https://doi.org/10.1126/science.1150769
Wang X. J. (2021). 50 years of mnemonic persistent activity: quo vadis?. Trends in neurosciences, 44(11), 888–902. https://doi.org/10.1016/j.tins.2021.09.001
Rajan, K., Harvey, C. D., & Tank, D. W. (2016). Recurrent Network Models of Sequence Generation and Memory. Neuron, 90(1), 128–142. https://doi.org/10.1016/j.neuron.2016.02.009
Kurtkaya, B., Dinc, F., Yuksekgonul, M., Blanco-Pozo, M., Cirakman, E., Schnitzer, M., … Miolane, N. (2025). Dynamical phases of short-term memory mechanisms in RNNs. Forty-Second International Conference on Machine Learning. Retrieved from https://arxiv.org/abs/2502.17433
