自由能原理作为训练目标：用"惊讶最小化"替代奖励最大化

第一层：通俗理解

1.1 两种动机

1.2 两种减少惊讶的办法

假设你预测"今天不下雨"，结果出门淋了雨，很惊讶。你可以：

1. 改变信念：下次看天气预报（学习）；
2. 改变世界：带上伞，或者干脆不出门（行动）。

主动推断说：智能体两样都做，并且会主动去收集信息来减少未来的不确定性，比如出门前看一眼窗外。这就是好奇心的数学来源。

1.3 和大模型的联系

预训练的"预测下一个 token"本身就是在最小化一种惊讶（交叉熵 = 对真实下一个词的"意外程度"）。构想是：把这个目标从被动的文本，扩展到主动的行动。

第二层：已有证据

第三层：构想的具体形态

3.1 期望自由能

主动推断中，选择行动的依据是期望自由能，可以粗略分成两项：

$$G(\pi) \approx \underbrace{-\,\mathbb{E}\big[\text{信息增益}\big]}_{\text{认知价值：去学新东西}} \;\; \underbrace{-\,\mathbb{E}\big[\log P(\text{偏好的结果})\big]}_{\text{实用价值：达成目标}}$$

智能体选择使 $G$ 最小的策略 $\pi$：既想学到东西，又想得到它偏好的结果。

• 认知价值解决了"黑屋子问题"：躲在黑屋子里学不到任何东西，认知价值为零；
• 只算"可减少的"不确定性（信息增益）而不是原始预测误差，解决了"嘈杂电视问题"：噪声里学不到东西。

3.2 用于 LLM 后训练（合理推测）

一个具体的行为预测：这样训练的模型在不确定时会主动提问或查证，因为提问有很高的认知价值；而不是像现在一些模型那样硬着头皮编一个答案。

3.3 和其他方向的关系

• 和干预式训练：后者的"信息增益奖励"可以看作期望自由能中认知价值的一个特例；
• 和世界模型后训练：主动推断需要一个可交互的世界来产生观察；
• 和对齐：偏好项 $\log P(\text{偏好的结果})$ 是写入价值观的地方，比"奖励函数"更像"期望世界变成什么样"。

3.4 待验证的假设

1. 期望自由能能否在大模型规模上高效近似计算？
2. 以此训练的模型，是否真的更少幻觉、更愿意承认不确定？
3. 偏好项如何设定才不会导致新的投机（比如让用户"不再提问"来减少惊讶）？
4. 自由能原理的普适性是优点还是缺点：它是否只是把强化学习换了一套说法？

总结