回测的七宗罪

第一层：通俗理解

1.1 事后诸葛亮

"如果我 2010 年买了比特币……"每个人都能在事后找到一条完美的路径。回测的危险在于：它就是一台系统化的事后诸葛亮生成器。

一个回测结果之所以不可信，通常不是因为代码写错了，而是因为：

• 它用到了当时不可能知道的信息；
• 它在同一份历史数据上试了太多次；
• 它忽略了现实中的摩擦。

1.2 七宗罪一览

第二层：演示一：随机数据上的"好策略"

2.1 实验设计

• 生成 2000 天纯随机游走的价格：没有任何可预测性；
• 前 1000 天作为样本内，后 1000 天作为样本外；
• 用均线交叉策略（快线上穿慢线时持有），快线周期 2–48、慢线周期在快线 + 5 到 195 之间，遍历所有组合。

import numpy as np, pandas as pd
rng = np.random.default_rng(7)
n = 2000
ret = pd.Series(rng.normal(0, 0.01, n))          # 纯随机游走：不存在任何可预测性
price = 100 * np.exp(ret.cumsum())
ins, oos = slice(0, 1000), slice(1000, n)

def sharpe(x):
    return x.mean() / x.std() * np.sqrt(252) if x.std() > 0 else 0.0

def ma_strategy(price, fast, slow):
    sig = (price.rolling(fast).mean() > price.rolling(slow).mean()).astype(float)
    return sig.shift(1) * price.pct_change()        # 用昨天的信号交易今天，避免前视

results = []
for fast in range(2, 50, 2):
    for slow in range(fast + 5, 200, 5):
        r = ma_strategy(price, fast, slow)
        results.append((fast, slow, sharpe(r.iloc[ins].dropna()), sharpe(r.iloc[oos].dropna())))
res = pd.DataFrame(results, columns=["fast", "slow", "is_sharpe", "oos_sharpe"])
best = res.loc[res["is_sharpe"].idxmax()]
print("尝试的参数组合数:", len(res))
print("样本内最佳:", best.round(2).to_dict())
print("所有组合样本外夏普均值:", round(res["oos_sharpe"].mean(), 2))

输出：

尝试的参数组合数: 826
样本内最佳: {'fast': 44.0, 'slow': 84.0, 'is_sharpe': 0.61, 'oos_sharpe': -0.1}
所有组合样本外夏普均值: -0.13

2.2 解读

• 在一个明知不可预测的序列上，试了 826 组参数，最好的一组样本内夏普 0.61；
• 到了样本外，这组参数夏普 −0.1，和所有参数的平均水平没有区别；
• 如果你只看到"快线 44、慢线 84、夏普 0.61"这一行结果，很可能会相信它；
• 真实研究中的情况更糟：尝试的往往不止参数，还有不同的指标、不同的股票池、不同的时间段，"试验次数"远超几百次，能挑出的样本内结果也更好看。如何对此进行校正，见《多重检验与因子动物园》。

第三层：演示二：前视偏差只需要一行

3.1 同一个策略，两种写法

sig = (price.rolling(5).mean() > price.rolling(20).mean()).astype(float)
cheat = sig * price.pct_change()                     # 用今天收盘算出的信号，去赚今天的收益
honest = sig.shift(1) * price.pct_change()           # 用昨天的信号，赚今天的收益
print("前视版本夏普:", round(sharpe(cheat.dropna()), 2), " 正确版本夏普:", round(sharpe(honest.dropna()), 2))

输出：

前视版本夏普: 0.57  正确版本夏普: -0.07

3.2 为什么差这么多

今天的收盘价同时影响了"今天的均线"（信号）和"今天的收益"。如果今天大涨，均线更可能上穿，信号更可能为 1，于是"恰好"持有了大涨的这一天。这种关联完全来自同一个数据点被用了两次，现实中不可能实现：你在收盘前不知道收盘价。

在纯随机数据上，前视偏差凭空制造出了 0.57 的夏普。在真实数据上，它制造的虚假收益可能更大，而且更难发现，因为它常常藏在复杂的数据处理流程中：

• 用全样本的均值和标准差做标准化（见《因子工程》）；
• 用当天的成交量加权价格（VWAP）作为当天的成交价，同时又用它算信号；
• 财务数据按报告期而不是公告日对齐；
• 机器学习中随机打乱时间序列做交叉验证。

3.3 防御清单

3.4 一个健康的研究习惯

1. 先写下假设和理由，再看数据（避免先看结果再编故事）；
2. 记录每一次尝试，包括失败的；
3. 用模拟数据或随机打乱的数据跑一遍自己的回测框架：如果在随机数据上也能"赚钱"，框架一定有前视偏差；
4. 模拟盘或小资金实盘，作为最终的样本外检验。

总结