必须减去最大值以保证数值稳定性：使所有指数项≤1，避免exp溢出inf或下溢0，确保至少一项为1，防止softmax输出全0或nan导致梯度崩溃。
Softmax 函数在 C++ 中的正确实现方式
直接用
对每个元素计算再归一化，大概率会遇到
或
—— 尤其当输入向量含较大正值（如
）时，
超出
表示范围。关键不是“怎么写公式”，而是“怎么稳住数值”。
标准解法是减去最大值（max-shift trick）：
为什么必须减去最大值？数值稳定性原理
，分子分母同乘
后等价于
。只要
是常数，结果不变。选
可保证：
所有
，所以
至少有一个项为
，避免全下溢成 0
不会出现
（除非原始输入本身是
）
漏掉这步，在训练初期 lo
git
s 波动大时，
输出可能全为
或
，梯度直接崩掉。
立即学习
“
C++免费学习笔记（深入）
”；
用 Eigen 库做向量化加速时的常见陷阱
如果用
替代
，不能直接写
—— 默认不自动做 max-shift。必须手动处理：
C函数速查手册（CHM版）
C函数速查手册（CHM版）
下载
注意点：
必须显式调用，否则
无定义
返回
，不是引用；别误写成
若
是空向量，
会抛异常 —— 生产环境需前置检查
对小向量（
极端情况：全 NaN 输入或含 inf 的处理策略
真实训练中，前层梯度爆炸可能导致
含
或
。此时
和
行为未定义（C++ 标准不保证），可能静默返回错误结果。
建议在 softmax 前加轻量级校验：
用
和
扫描输入
发现
直接返回全 0 向量（或抛异常，视 pipeline 设计而定）
发现
：只保留该位置为 1，其余为 0（数学上合理）
发现
：可设为极小负数（如
）再进 softmax，避免
导致除零
这些分支判断成本极低，但能防止 silent failure —— 这类 bug 往往要到 loss 突然卡死才暴露，排查成本远高于预防。
exp(x)infnan100exp(100)doublestd::vector softmax(const std::vector& logits) {
double max_val = *std::max_element(logits.begin(), logits.end());
std::vector exps;
double sum = 0.0;
for (double x : logits) {
double exp_x = std::exp(x - max_val); // 防溢出
exps.push_back(exp_x);
sum += exp_x;
}
std::vector result;
for (double exp_x : exps) {
result.push_back(exp_x / sum);
}
return result;
} softmax(x)_i = exp(x_i) / sum_j exp(x_j)exp(-c)exp(x_i - c) / sum_j exp(x_j - c)cc = max(x)x_i - c ≤ 0exp(x_i - c) ∈ (0, 1]exp(0) = 1infinfsoftmax0nanEigen::VectorXdstd::vectorexp(logits)Eigen::VectorXd softmax_eigen(const Eigen::VectorXd& logits) {
double max_val = logits.maxCoeff();
Eigen::VectorXd shifted = logits.array() - max_val;
Eigen::VectorXd exps = shifted.array().exp();
double sum = exps.sum();
return exps / sum;
}.array().exp()logits.maxCoeff()double&logits.maxCoeff()logitsmaxCoeff()size ），Eigen 的开销可能比原生循环大，别盲目优化logitsinfnanmax_elementexpstd::isnan(x)std::isinf(x)nan+inf-inf-1e30exp(-inf)=0