Caloogy 文章
English

预测加工理论:人脑本身就是一个"下一个 token 预测器"吗

日期
2026 年 2 月 13 日
系列
哲学
阅读
4 分钟
主题
PhilosophyCognitive sciencePredictive processingFree energy principle

一句话版本

批评大模型的人常说:"它只是在预测下一个词。"而认知科学中影响力很大的预测加工理论认为:人脑本质上也是一台预测机器,不断预测下一刻的感觉输入,只把"预测错了的部分"向上传递。 那么,人脑和 LLM 的差别在哪里?本文的回答是:两者共享"预测"这一核心原则,但在预测什么(多感官的身体与世界 vs 文本)、为什么预测(维持生存 vs 最小化训练损失)、能否通过行动检验预测(能 vs 基本不能)、以及结构(层级化双向 vs 主要前馈)上有根本差异。这些差异,恰好指出了下一代模型可能的改进方向。

定位

理论比较与评述。预测加工理论在认知科学中有广泛影响,但也受到批评;神经科学与 LLM 的类比需要谨慎。


第一层:通俗理解

1.1 你没注意到的预测

这些时刻说明:大脑一直在提前预测,只有预测出错时,你才会"注意到"。

1.2 预测加工的核心图景

传统看法 预测加工的看法
感官把信息送进大脑,大脑逐层加工、识别 大脑从上往下发出预测,感官从下往上只送回预测误差
知觉 = 处理输入 知觉 = 大脑的最佳猜测,被输入不断校正
行动是知觉之后的事 行动是让世界符合预测的另一种方式

第二层:理论来源

来源 内容
赫尔姆霍兹(19 世纪) 知觉是"无意识推断"
Rao 与 Ballard(1999) 视觉皮层的预测编码模型:高层预测低层,低层传回误差
Friston 的自由能原理(2006 年起) 把预测加工推广为大脑乃至生命的一般原理:最小化惊讶(见《自由能原理作为训练目标》)
Andy Clark《Surfing Uncertainty》(2016) 对预测加工的系统哲学阐释
Anil Seth《Being You》(2021) 把意识体验(包括自我和情绪)解释为大脑的"受控幻觉",尤其强调对身体内部状态的预测
神经科学与 LLM 的对比研究 多项研究发现,语言模型的内部表征能在一定程度上预测人在听故事、读文本时的大脑活动;人脑在语言理解中确实会预测即将出现的词

最后一点很有意思:在语言这个狭窄的领域里,LLM 的预测与人脑的语言区存在可测量的对应关系。


第三层:相同与不同

3.1 相同之处

3.2 根本差异

维度 人脑 LLM
预测什么 视觉、听觉、触觉、身体内部状态(心跳、饥饿)等多感官的连续信号 文本 token(多模态模型扩展到图像、音频)
为什么预测 为了维持身体的稳态和生存;预测错误有真实代价 为了最小化训练损失;预测错了只是梯度
能否行动 可以通过行动改变输入、检验预测(主动推断) 预训练中完全被动;只有在 Agent 和 RL 中才有有限的行动
结构 层级化、双向(大量自上而下的反馈连接) 单次前向计算主要是自下而上的;"自上而下"只体现在逐 token 生成的循环中
学习时机 终身持续学习 训练后冻结(见《测试时学习》)
身体 有身体,有需要维持的内环境 没有

3.3 这些差异意味着什么

把差异逐条翻转,就得到一份改进 LLM 的方向清单,也正对应本系列 llm-frontier 板块的几篇文章:

差异 对应的研究方向
只预测文本 → 预测世界状态 世界模型后训练
被动预测 → 通过行动检验 干预式训练、自由能原理作为训练目标
只在 token 层面"思考" → 层级化的内部预测 潜空间推理
训练后冻结 → 终身学习 测试时学习
没有内在的"在乎" → 有需要维持的目标 有争议:这是否会带来新的安全风险?

3.4 回到那句批评

"它只是在预测下一个词"这句话,如果预测加工理论是对的,那么"只是在预测"本身并不是贬义:人脑也"只是在预测"。真正有意义的问题是:

在这三点上,目前的 LLM 与人脑仍有巨大差距。差距本身也是方向。

3.5 一个警告

神经科学与 AI 的类比很有启发性,但也很容易被滥用:


总结

层次 要点
理论 大脑自上而下预测、自下而上传误差;行动也是减少误差的方式
相同 都以预测误差学习;都构建生成模型;语言预测有可测量的对应
不同 预测对象、动机、行动、结构、学习时机、身体
意义 差异清单 = 下一代模型的改进方向;"只是预测"本身不是贬义