一句话版本
今天的大模型训练完就"冻结"了：它在使用中学到的东西，只能暂存在上下文窗口里，对话一结束就忘。人不是这样：我们一边做事一边学，而且新学的东西不会把旧的冲掉。 测试时学习让模型在推理过程中也更新一部分参数或记忆，持续适应新任务、新用户、新知识。难点是灾难性遗忘（学新的忘旧的）和安全（被恶意输入"教坏"）。神经科学的"互补学习系统"理论为此提供了一个有启发的蓝图：海马体快速记新事，大脑皮层慢慢整合。
定位
部分已有实现，整体仍在早期。区分已有证据与推测。
第一层：通俗理解
1.1 每天失忆的天才
电影里有一种角色：极其聪明，但每天醒来都会忘掉前一天的事，只能靠笔记本过日子。
大模型就像这样：
- "天才"的部分：预训练学到的庞大知识；
- "笔记本"：上下文窗口和外部记忆（RAG）；
- 它的大脑本身，不会因为今天的经历而改变。
1.2 为什么不能直接让它边用边学
| 问题 | 说明 |
|---|---|
| 灾难性遗忘 | 用新数据更新参数，旧能力会被冲掉 |
| 安全 | 用户（或攻击者）可以通过输入"教坏"模型（类似RAG与记忆投毒，但更深入） |
| 个性化与共享 | 一个模型服务千万用户，谁的经历该改变它？ |
| 成本 | 推理时做梯度更新，计算量大 |
第二层：已有证据
| 工作 | 内容 |
|---|---|
| Test-Time Training（Sun 等，2020 年起） | 在测试时用自监督任务对模型做少量更新，适应新的数据分布；2024 年的 TTT 层把"隐状态"本身做成一个在序列上不断训练的小模型 |
| Titans（Google，2025） | 加入一个神经长期记忆模块，在推理时根据"惊讶程度"决定记什么、忘什么，可以处理超长上下文 |
| ARC 挑战中的测试时训练 | 在抽象推理基准 ARC 上，对每道题临时微调模型的方法取得了显著提升 |
| 持续学习研究 | 弹性权重巩固（EWC，2017）等方法：识别对旧任务重要的参数，更新时保护它们 |
| 互补学习系统理论（McClelland 等，1995） | 海马体快速记住具体经历，在睡眠等时段"回放"给新皮层，新皮层缓慢地整合成一般知识，从而避免新知识冲掉旧知识 |
第三层：构想的具体形态
3.1 三层记忆（合理推测，受互补学习系统启发）
| 层 | 类比 | 更新速度 | 内容 |
|---|---|---|---|
| 上下文窗口 | 工作记忆 | 即时 | 当前任务 |
| 快速记忆模块 | 海马体 | 推理时更新 | 最近的经历、用户的习惯、新学到的事实 |
| 主干参数 | 新皮层 | 离线、缓慢 | 一般知识和能力 |
关键环节是"巩固"：定期（比如离线时）把快速记忆里反复出现、经过验证的内容，蒸馏进主干参数，同时用旧数据回放防止遗忘。这对应人类的"睡眠巩固"。
3.2 写入的门控
不是所有东西都该记住。决定写入的信号可以是：
- 惊讶程度：和现有知识冲突、预测误差大的内容（Titans 的思路，也和自由能原理作为训练目标呼应）；
- 重复：多次出现的才巩固；
- 可信度：来自不可信来源的内容不写入，或者打上标签隔离（见《RAG与记忆投毒》）；
- 用户确认：涉及个人偏好的记忆由用户确认和管理。
3.3 安全设计
| 风险 | 对策 |
|---|---|
| 被投毒 | 快速记忆按用户隔离；只在主干巩固经过筛选的内容 |
| 能力退化 | 巩固后跑完整的回归测试和安全评估，不通过就回滚 |
| 价值观漂移 | 安全和价值相关的行为放在不可在线更新的部分 |
| 隐私 | 个人记忆不进入共享的主干参数 |
3.4 待验证的假设
- 快速记忆 + 离线巩固，能否在大模型规模上真正避免灾难性遗忘？
- "惊讶"作为写入门控，是否会被攻击者利用（故意制造惊讶的内容来写入）？
- 每个用户一份快速记忆的存储和计算成本是否可以接受？
- 持续学习的模型如何做版本管理、安全认证？
总结
| 层次 | 要点 |
|---|---|
| 问题 | 模型训练完就冻结，经验无法积累 |
| 证据 | TTT、Titans、ARC 上的测试时训练、持续学习研究 |
| 构想 | 三层记忆：上下文、快速记忆（海马体）、主干参数（新皮层），离线巩固 |
| 难点 | 灾难性遗忘、投毒、价值观漂移、隐私与成本 |