因子工程：从原始数据到可用信号

第一层：通俗理解

1.1 洗菜、切菜、去骨

食材买回来不能直接下锅：要洗掉泥沙（缺失和错误数据）、切掉坏的部分（极端值）、切成统一大小（标准化）、去掉不想要的味道（中性化）。

因子工程就是做菜前的备料。备料没做好，后面的回测再精致也没用。

1.2 一个例子

想法："市盈率低的股票（便宜）未来收益更高。"

直接拿市盈率排序会遇到这些问题：

第二层：流水线的每一步

2.1 取数：时点数据（point-in-time）

最隐蔽也最致命的错误是前视偏差：在回测的某一天，用了那一天还不可能知道的数据。

2.2 去极值（winsorize）

把超出合理范围的值"拉回"边界，而不是删除。常用的边界：

1.4826 这个系数让 MAD 在正态分布下与标准差一致。

2.3 缺失值

• 能不填就不填（直接排除该股票当期）；
• 必须填时，用同行业的中位数，而不是全市场；
• 不要用未来的数据填（比如用下一期的值向前填充）。

2.4 标准化

每一期（每个交易日或每个月）在横截面上做 z-score：

$$z_i = \frac{x_i - \bar{x}}{\sigma_x}.$$

这样不同时期、不同因子之间可以比较，也便于合成多个因子。也可以用排序百分位代替，对分布形状更不敏感。

2.5 中性化

用回归去掉不想要的暴露。每一期做一次横截面回归：

$$x_i = \sum_k \gamma_k \, D_{ik} + \delta \ln(\text{市值}_i) + \varepsilon_i,$$

$D_{ik}$ 是行业哑变量（股票 $i$ 属于行业 $k$ 时为 1）。残差 $\varepsilon_i$ 就是中性化后的因子：它和行业、市值都不相关，剩下的才是"同行业、同规模的股票之间，谁更便宜"。

第三层：代码实现

3.1 一条完整的流水线

下面的模拟数据里，原始因子故意混入了行业效应和市值效应，并且有厚尾分布和缺失值：

import numpy as np, pandas as pd
rng = np.random.default_rng(0)
N = 500
df = pd.DataFrame({
    "industry": rng.choice(["科技", "金融", "消费", "能源"], N),
    "mcap": np.exp(rng.normal(23, 1.2, N)),
})
ind_bias = df["industry"].map({"科技": 0.8, "金融": -0.5, "消费": 0.1, "能源": -0.3})
df["raw"] = ind_bias + 0.4 * np.log(df["mcap"]) + rng.standard_t(3, N)  # 原始因子：混有行业和市值
df.loc[rng.choice(N, 15, replace=False), "raw"] = np.nan

def winsorize_mad(x, k=3):
    med = x.median(); mad = (x - med).abs().median() * 1.4826
    return x.clip(med - k * mad, med + k * mad)

def zscore(x):
    return (x - x.mean()) / x.std()

def neutralize(y, df):
    X = pd.get_dummies(df["industry"], dtype=float)
    X["lnmcap"] = np.log(df["mcap"])
    m = y.notna()
    beta, *_ = np.linalg.lstsq(X[m].values, y[m].values, rcond=None)
    out = y.copy(); out[m] = y[m] - X[m].values @ beta
    return out

x = df["raw"]
x = x.fillna(x.groupby(df["industry"]).transform("median"))   # 行业中位数填充
x = winsorize_mad(x)
x = zscore(x)
x = neutralize(x, df)
x = zscore(x)
df["factor"] = x
print("原始因子与 ln市值 相关:", round(df["raw"].corr(np.log(df["mcap"])), 3))
print("处理后与 ln市值 相关:", round(df["factor"].corr(np.log(df["mcap"])), 3))
print("处理后各行业均值:", df.groupby("industry")["factor"].mean().round(3).to_dict())
print("原始峰度:", round(df["raw"].kurt(), 2), "处理后峰度:", round(df["factor"].kurt(), 2))

输出：

原始因子与 ln市值 相关: 0.266
处理后与 ln市值 相关: -0.0
处理后各行业均值: {'消费': -0.0, '科技': -0.0, '能源': 0.0, '金融': 0.0}
原始峰度: 4.07 处理后峰度: 1.28

（-0.0 是浮点数在四舍五入后的显示，表示极接近零。）

3.2 解读

3.3 在真实的面板数据上

真实数据是"日期 × 股票"的面板，每一步都要按日期分组做，绝不能把所有日期混在一起计算均值和标准差（那会用到未来的信息）：

def process_one_date(g):
    x = g["raw"]
    x = x.fillna(x.groupby(g["industry"]).transform("median"))
    x = zscore(winsorize_mad(x))
    return zscore(neutralize(x, g))

panel["factor"] = panel.groupby("date", group_keys=False).apply(process_one_date)

3.4 常见错误清单

总结