不确定性估计

前面几章训练出来的网络都只回答一个数：这次抓取能成功的概率是 0.93，这个像素的深度是 1.52 m，这个动作之后关节会转到这里。机器人拿到这个数之后还得做决定：要不要执行这次抓取？这个深度值在卡尔曼滤波（4.8 节）里该给多大权重？是自己继续，还是停下来请人帮忙？这些决定需要的不只是“最可能的答案”，还有这个答案有多可能错。卡尔曼滤波里每个测量都必须带协方差，否则增益没法算；学出来的模型如果没有不确定性，就没法放进同一个框架里。

“不知道”有两种，处理方法完全不同。第一种来自世界本身：同一个距离，深度相机每次读数都在抖；同样的抓取姿态，物体有时滑、有时不滑。这叫偶然不确定性（aleatoric，源自拉丁语“骰子”），再多数据也消不掉，模型能做的只是把它的大小如实报告出来。第二种来自模型自己：数据没覆盖到的距离、没见过的物体，模型只能瞎猜。这叫认知不确定性（epistemic，源自希腊语“知识”），去那里采数据就能把它降下来。

机器人在乎这个区分，因为两种不确定性要求不同的动作。认知不确定性大：去采数据（主动学习），换个保守动作，或者请人帮忙。偶然不确定性大：采再多同样的数据也没用，该做的是换传感器、换策略，或在规划里留出余量。16.2 节已经看到，网络在训练范围外会自信地给出错误答案，集成的分歧只涨了一点。本节系统地讲怎样估计、检验和使用这两种不确定性。

本节反复用到一个例子：一台廉价深度相机的读数有系统误差，误差大小随距离变化（距离 z 处的误差是一条带波动的曲线，单位 mm），而且读数噪声随距离增大。我们把标定板放在不同距离上，测出“读数减真实距离”，想学出这条误差曲线，用来修正以后的读数。

先用最简单、可以精确求解的模型：贝叶斯线性回归。把误差写成 25 个高斯小鼓包的加权和 \(y=\boldsymbol\phi(z)^\top\mathbf w+\varepsilon\)，权重有高斯先验，噪声 \(\varepsilon\sim\mathcal N(0,\sigma^2)\)。这样权重的后验也是高斯的（4.4 节的条件化，4.6 节的 MAP），新距离处的预测方差可以写成两项之和：

第一项是偶然部分，即传感器噪声，与数据多少无关；第二项是认知部分：权重后验协方差 \(\Sigma_{\mathbf w}\) 投影到这个距离上的结果，只在数据覆盖的地方变小。拖动下图的测量次数和噪声，或者把一段距离留空不测，看两项各自怎么变。把鼠标放到公式的两项上，图里对应的带子和曲线会加粗。

再看两端：数据只到 2.4 m，在 2.8 m 处（N = 200）认知标准差回升到 8.75 mm，往 3 m 走继续增大，模型在“告诉你它不知道”。这是贝叶斯模型最有用的性质。下一节换成神经网络：它们没有这样干净的后验，我们得用别的办法近似出同样的两项。

偶然部分：异方差回归。让网络输出两个数：均值 \(\mu_\theta(z)\) 和标准差 \(\sigma_\theta(z)\)（第二个输出经过 softplus 保证为正），训练时最小化高斯负对数似然（NLL），而不是 MSE：

第二项是被 \(1/\sigma^2\) 加权的平方误差，第一项惩罚“把 σ 报得很大来逃避”。两者平衡时 \(\sigma_\theta^2(z)\) 等于该处残差平方的期望：网络自己学出“这里噪声有多大”（异方差，heteroscedastic，指噪声随输入变化；同方差则处处一样）。这就是 16.2 节“损失 = 负对数似然”的直接推广：MSE 对应固定 σ 的高斯，这里把 σ 也交给网络。

认知部分：深度集成与 MC dropout。训练 \(K\) 个结构相同、初值和小批量顺序不同的网络（深度集成，Lakshminarayanan 等 2017）。在数据多的地方，所有成员都被数据“按住”，预测几乎相同；在数据外，每个成员按自己的初值随意外推，彼此分歧就是认知不确定性的估计。MC dropout（Gal 与 Ghahramani 2016）只训练一个带 dropout 的网络，测试时不关掉 dropout，用 20 个随机掩码各预测一次，把它们当成 20 个成员。两种情况下都按全方差公式合并，第一项是偶然部分，第二项是认知部分：

分类器输出的概率只有在校准的时候才能当概率用：在所有它说“成功概率 0.8”的抓取里，应当恰好约 80% 成功。检验办法是可靠性图：把测试样本按预测概率分成 10 个区间，每个区间里比较平均预测概率和实际成功率；点都在对角线上就是校准的。偏离的大小用期望校准误差概括：

\(\overline p_b\) 和 \(\overline y_b\) 是第 \(b\) 个区间里的平均预测概率和实际成功率，\(n_b\) 是区间里的样本数。右边是最简单的修正，温度缩放（Guo 等 2017）：网络照旧，只把 logit \(z\) 除以一个标量 \(T\)。\(T>1\) 把概率往 0.5 拉，\(T<1\) 往两端推。\(T\) 在一个留出的验证集上通过最小化 NLL 来拟合，只有一个参数，几乎不会过拟合，而且不改变任何样本的预测类别。

下图是一个抓取成功率分类器：输入是夹爪相对物体中心的横向偏差和接近角误差（都归一化到 [−1, 1]），真实的成功概率是一个平滑函数（中心附近约 95%，往外下降），标签按这个概率随机抽取，所以就算知道真实概率，平均准确率也只有约 82.5%（在本页的 3000 次测试抓取上恰好是 83.5%）：剩下的是偶然不确定性。300 次训练抓取，一个 [2, 16, 16, 1] 的 ReLU 网络，全批量 Adam，学习率 0.01。看训练越久，网络怎样变得越来越过度自信。

注意准确率在训练中先升后降（第 100 步 82.6%，第 1500 步 76.9%），NLL 从 0.40 涨到 0.95，这就是 16.2 节的过拟合，只是这里它主要表现为过度自信。温度缩放修好了置信度，修不好准确率，也修不好地图上那些弯弯扭扭的错误边界：它是一种“事后校准”，不是更好的模型。而且它只在与验证集同分布的数据上有效，分布一偏移，校准就会重新变坏（Ovadia 等 2019 的大规模实验）。

前面所有的区间都依赖模型假设（高斯噪声、网络学对了 σ）。共形预测换了个思路：不管模型多差，拿一组模型没见过的校准数据 \((z_i,y_i)_{i=1}^n\)，算每个点的“不合格分数”，例如绝对残差 \(s_i=|y_i-\hat y(z_i)|\)，取其中第 \(k=\lceil (n+1)(1-\alpha)\rceil\) 小的分数作为阈值 \(\hl{qhat}{\hat q}\)，预测区间就是 \(\hat y(z)\pm\hat q\)。只要新数据和校准数据可交换（例如独立同分布），就有

（上界要求分数没有并列。）理由只是排序：新点的分数和 \(n\) 个校准分数可交换，它落在 \(n+1\) 个位置中任意一个的可能性相同，落在前 \(k\) 个以内的概率至少是 \(k/(n+1)\ge1-\alpha\)。没有用到任何关于模型或噪声分布的假设。下图里的“模型”故意选了一个错的：贝叶斯线性回归假设处处同样的噪声，估计出 \(\sigma_{\mathrm m}=3.39\) mm，可真实噪声从 0.6 mm 涨到 7.4 mm。

三点观察。(1) 保证是对“校准数据和测试点一起随机”而言的平均：某一组校准数据可能偏低或偏高（右下的直方图：n = 50 时 5%–95% 分位约为 81.5%–96.5%，n = 500 时收窄到 85.5%–94.5%），平均值才稳稳落在 1 − α 上。(2) 保证是边缘的（对所有距离平均），不是条件的（对每个距离）：绝对分数在噪声小的地方太宽、噪声大的地方太窄，总体却刚好 90%。好的分数函数（这里除以 u(z)，或者用分位数回归）让区间随难度伸缩，条件覆盖率更接近目标，但仍没有逐点保证。(3) α 很小、n 又少时，\(k=\lceil(n+1)(1-\alpha)\rceil\) 可能超过 \(n\)，此时 q̂ = ∞：数据太少，诚实的答案就是“什么都可能”。

贝叶斯的说法是：参数 \(\theta\) 本身不确定，有后验 \(p(\theta\mid\mathcal D)\)；对新输入 \(x\) 的预测要对它积分：

右式是全方差公式（4.3 节的期望与方差）：总方差 = 噪声方差的平均（偶然）+ 均值的方差（认知），期望和方差都对后验取。集成和 MC dropout 都是用 \(K\) 个样本 \(\theta_k\) 近似这个后验，于是得到 FIG 2 用的公式。数据越多，后验越集中，第二项趋于 0；第一项则趋于真实的噪声方差。

特征矩阵 \(\Phi\)（第 \(i\) 行是 \(\boldsymbol\phi(z_i)^\top\)），先验 \(\mathbf w\sim\mathcal N(\mathbf 0,\Sigma_0)\)，噪声方差 \(\sigma_i^2\) 可以逐点不同，记 \(\Lambda=\operatorname{diag}(1/\sigma_i^2)\)。后验是高斯的：

\(\mathbf m\) 就是岭回归（4.6 节的 MAP）。\(\Sigma_{\mathbf w}^{-1}\) 是“信息”：每个测量把 \(\boldsymbol\phi(z_i)\boldsymbol\phi(z_i)^\top/\sigma_i^2\) 加进去，所以在一个地方测 \(N\) 次，那里的认知方差大约按 \(\sigma^2/N\) 下降（FIG 1 的 \(1/\sqrt N\)）；噪声大的测量贡献的信息少（FIG 6 里远处的板“不值钱”）。注意 \(\sigma^2_{\mathrm{epi}}\) 不依赖 \(\mathbf y\)：认知不确定性只取决于在哪里测过、测得多准，而不是测到了什么。本页用 25 个宽 0.2 m 的高斯鼓包加一个常数项，鼓包权重的先验标准差为 6 mm，常数项为 10 mm；数值上用 Cholesky 分解，\(\sigma^2_{\mathrm{epi}}=\|L^{-1}\boldsymbol\phi\|^2\)。

单个样本的损失 \(\ell=\log\sigma+\frac{r^2}{2\sigma^2}\)，\(r=y-\mu\)。对两个输出求导：

第一式说明：均值的梯度被 \(1/\sigma^2\) 加权，噪声大的点“拉力”小，这是逐点加权最小二乘，与卡尔曼滤波按协方差加权是同一个道理。它也是 NLL 的一个坑：网络可以把某些难拟合的区域的 σ 报大，从而几乎不再学那里的均值（Seitzer 等 2022 提出的 β-NLL 用 \(\sigma^{2\beta}\) 重新加权来缓解）。第二式说明 σ² 学的是残差平方的条件期望：如果均值本身拟合得不好，系统误差也会被当成“噪声”（FIG 2 里近处 σ 偏大）。本页的 \(\sigma_{\min}\) 取 0.2 mm，防止除以零。

分类器的集成给出 \(K\) 个概率 \(p_k\)，平均 \(\bar p\)。预测熵（4.11 节）同样分成两部分：

左边是总不确定性，右边第一项（各成员熵的平均）是偶然部分，第二项互信息是认知部分。互信息 \(I\) 是“如果知道了真参数，能对 \(y\) 多知道多少”：成员都说 0.5 时总熵最大，但互信息为 0，这是纯偶然（这个抓取本来就看运气）；成员一个说 0.05、一个说 0.95 时，平均也是 0.5，互信息却很大，这是认知的（模型没见过）。主动学习的 BALD（Houlsby 等 2011）就是挑互信息最大的样本去标注。

校准的定义：\(\mathbb P(Y=1\mid\hat p(X)=p)=p\) 对所有 \(p\) 成立。ECE 用分箱近似它（分箱数会影响数值，结果要连同分箱方式一起报告）。温度缩放求 \(T^\ast=\arg\min_T\sum_{i\in\mathcal D_{\mathrm{val}}}\ell_{\mathrm{BCE}}\big(z_i/T,\,y_i\big)\)，这是一维凸问题（对 \(1/T\) 是凸的），本页用黄金分割搜索。因为 sigmoid 单调，\(z/T\) 与 \(z\) 同号，所以预测类别和准确率都不变；多分类时 softmax\((\mathbf z/T)\) 的最大分量位置也不变。NLL 和 Brier 分数这类严格正常评分规则只在预测分布等于真实分布时取到最优，所以既奖励准确也奖励校准，这也是深度集成用 NLL 训练的理由。

设分数 \(s_1,\dots,s_n,s_{n+1}\)（最后一个是测试点）可交换，并假设没有并列。则 \(s_{n+1}\) 在这 \(n+1\) 个数中的排名在 \(\{1,\dots,n+1\}\) 上均匀分布。记 \(s_{(k)}\) 为校准分数中第 \(k\) 小的：

集合 \(C(x)=\{y:s(x,y)\le\hl{qhat}{\hat q}\}\) 就是预测区间（或分类时的预测集合）。分数函数可以任选：绝对残差、除以某个尺度 u(x) 的归一化残差、分位数回归的上下界之差（CQR）、分类时 \(1-\hat p_y\)。选得好，集合更小、更贴合每个输入的难度，但覆盖率保证与选择无关。代价是要留出一份不参与训练的校准数据（分割共形），并且保证只在可交换时成立：时间序列、闭环控制、分布偏移都会破坏它，需要加权或在线的变体。

在候选位置 \(z\) 中选下一次测量。FIG 6 比较三种规则：随机；\(\hl{acq}{\arg\max_z\,\sigma^2_{\mathrm{epi}}(z)+\sigma^2(z)}\)（总方差）；\(\hl{acq}{\arg\max_z\,\sigma^2_{\mathrm{epi}}(z)}\)（认知方差）。对高斯模型，一次测量带来的信息增益是 \(\tfrac12\log\big(1+\sigma^2_{\mathrm{epi}}(z)/\sigma^2(z)\big)\)，它同样只关心认知部分，并且会因噪声大而打折扣。总方差规则把偶然方差算了进去，会一次次去噪声最大的地方，而那里的噪声正是采多少次都消不掉的。

一个最直接的用法：机器人在不确定时停下来求助（或者换一个保守动作）。问题是用哪个数当“不确定”。下图训练了一个抓取分类器的 5 成员集成，训练抓取都在单位圆内（输入是两个归一化的抓取参数）。把琥珀圈（一个新物体的抓取参数）拖到各处，比较三种分数：单个网络的置信度 \(\max(p,1-p)\)（Hendrycks 与 Gimpel 2017 的基线），集成的互信息 \(\hl{mi}{I}\)（认知），以及到最近训练样本的距离（一种最朴素的密度估计）。

这张图值得多看一会儿。单个网络的置信度在圆外几乎处处接近 100%：ReLU 网络离数据越远，logit 越像一个线性函数，绝对值越来越大（Hein 等 2019 证明了这在 ReLU 网络里几乎不可避免）。集成的互信息只在“边界延长线”附近变大：那里成员们对边界往哪边弯意见不一；在别的方向上，5 个网络都学到了“越往右越成功、越往左越失败”，一起自信地外推，互信息几乎为 0。圆内边界附近预测熵很大（最大可到 \(\log 2\approx0.69\) nats），但互信息很小：这是偶然的，这类抓取本来就是一半一半，请人帮忙也没用。所以实际系统常把几种信号组合起来：集成或 dropout 的分歧、特征空间里的距离或密度，再加上任务层面的检查（比如抓取后检测是否真的抓住了）。

回到深度相机。每次摆一块标定板都要人工时间，我们想用尽量少的测量把整个 0–3 m 的误差曲线学好。现在假设噪声模型 σ(z) 已经知道（例如用 FIG 2 学出来），模型是 FIG 1 的贝叶斯线性回归，但按每个距离的噪声加权。一开始只有 0.6、1.0、1.4、1.8 m 四个测量，之后每一步按某个规则从 0–3 m（步长 2 cm）里选下一个距离。

总方差规则的失败很有代表性：3 m 处的噪声（11.3 mm）比任何地方都大，总方差永远最大，规则一遍遍把板放在那里，可每次测量带来的信息很少，别处的认知不确定性也一直降不下来。认知方差规则先把没测过的两端（0 m 附近和 2–3 m）补上，然后在远处多放几块，因为远处噪声大，每块板“值”得少，要多测几次才能把那里的认知方差压到和别处一样。随机规则不算差，但浪费在已经测得很准的地方。单次运行的 RMSE 受测量噪声影响会起伏；对 40 个随机种子平均，24 次测量时认知规则 2.15 mm，随机 2.53 mm，总方差 3.14 mm，排序不变。