Scaling Law

假设你的团队有一笔预算：可以再采 1 万条遥操作示教，可以把策略网络放大 10 倍，也可以买更多 GPU 把现有模型训练得更久。三件事都花钱，花的还是不同的钱：示教花的是人的时间，网络放大花的是训练和机器人上的推理算力，训练更久花的是集群时间。你想在花钱之前知道哪一项最划算。

语言和视觉模型过去几年的一个重要发现是：测试损失随数据量 \(D\)、参数量 \(N\) 和训练算力 \(C\) 的变化，在好几个数量级的范围里都非常规律，近似是幂律 \(L\propto N^{-\alpha}\)。这种规律叫 scaling law。有了它，就能用一串小规模实验拟合出直线，再外推到大规模，预测大模型的损失、决定参数和数据的配比。GPT-3、Chinchilla 这样的大模型就是这样规划出来的。

对机器人，这个问题更尖锐：机器人数据极其昂贵（每一条示教都要人花几十秒到几分钟去遥操作，22.3 节），模型还要在机器人自己的计算机上以控制频率实时运行。16.2 节讨论的是“给定数据，怎样泛化得好”；本节问的是下一个问题：多给多少数据、多大的模型，能换来多少进步，以及这种预测什么时候会失灵。

先看幂律长什么样。如果 \(L=A\,n^{-\alpha}\)，两边取对数得 \(\log L=\log A-\alpha\log n\)：在双对数坐标上是一条直线，斜率是 \(\hl{slope}{-\alpha}\)。它的含义是“每多 10 倍数据，损失乘以 \(10^{-\alpha}\)”，不管你现在在哪个位置。\(\alpha=1\) 时 10 倍数据换来 10 倍更低的损失；\(\alpha=0.1\) 时只换来 1.26 倍，想把损失降一半要多 1000 倍的数据。指数 \(\alpha\) 就是“规模的回报率”。

为什么会是幂律？一个能完全看清楚的例子：机器人要从样本里学一个光滑函数（比如某种状态下的抓取质量），而它用最简单的办法：最近邻，查询时直接返回离它最近的那个训练样本的值。误差有多大，取决于最近的样本有多远。如果 \(n\) 个样本均匀撒在一个 \(d\) 维的单位立方体里，每个样本“管辖”的体积约为 \(1/n\)，对应的边长（也就是到最近样本的典型距离）\(h\propto n^{-1/d}\)。光滑函数的误差正比于距离，平方误差正比于 \(h^2\propto n^{-2/d}\)：一条幂律，指数由输入空间的维数决定。

下图在 \(d=1,2,4,8\) 维里做这个实验（目标函数是 \(d\) 个正弦之和，样本和测试点都均匀随机）。拖动 \(n\)，看左边的几何和右边的双对数曲线。

拟合斜率（\(n\) 从 64 到 4096）：\(d=1\) 为 −2.02，\(d=2\) 为 −1.03，\(d=4\) 为 −0.53，\(d=8\) 为 −0.24，几乎正好是 \(-2/d\)。换成“要把误差降到十分之一需要多少倍数据”：\(d=1\) 约 3 倍，\(d=2\) 10 倍，\(d=4\) 100 倍，\(d=8\) 一万倍。这就是维数灾难的定量形式。

这个玩具模型抓住了真实 scaling law 的两个要点。第一，指数取决于数据的内在维数（数据实际占据的流形的维数），而不是原始输入的维数：一张 224×224 的图像有 15 万个像素，但同一个场景的图像只在一个低得多的维度里变化。Sharma 与 Kaplan（2022）论证了神经网络的指数近似为 \(4/d\)（网络是分段线性的近似器，误差 \(\propto h^2\)，比最近邻的 \(\propto h\) 好一阶）。第二，指数通常很小：语言模型的实测指数在 0.05 到 0.1 左右（第 7 节），对应很高的内在维数，所以每一点进步都需要成倍的规模。机器人的情况类似：物体、位姿、光照、背景、本体……决定动作的因素很多，所以机器人数据的“填满”格外困难（第 8 节）。

最近邻是非参数方法，它的“模型大小”就是数据本身。神经网络有固定数量的参数 \(N\)，训练要花算力。Kaplan 等人（2020）的经典做法是：训练一族大小不同的模型，每个都用新鲜数据（每个样本只用一次）训练，把每个模型的测试损失画成训练算力的函数。算力按标准近似 \(C\approx6ND\) 计：每个样本前向约 \(2N\) 次浮点运算（每个参数一次乘一次加），反向约 \(4N\) 次，\(D\) 是见过的样本数。

下图在浏览器里同时训练 6 个单隐藏层 GELU 网络，宽度 2 到 64（20 到 578 个参数），学习一台两连杆机械臂的逆动力学：输入 6 个数 \((\mathbf q,\dot{\mathbf q},\ddot{\mathbf q})\)，输出 2 个关节力矩 \(\boldsymbol\tau=M(\mathbf q)\ddot{\mathbf q}+\mathbf b(\mathbf q,\dot{\mathbf q})\)（8.3 节的模型：每根连杆 1 kg、1 m，质心在中点，重力 9.81 m/s²；力矩除以 12 归一化）。每一步用 16 个新采的样本，Adam，学习率 0.01 按余弦衰减到零，共 6000 步。

读图的三个要点。(1) 每条曲线都有平台：开始时所有网络都卡在约 0.5（这大约是目标的方差：只学到了平均值），然后迅速降到 0.09 左右的一个“肩”（占方差大部分的重力项学会了，惯性项和科氏项还没有），再继续下降，最后在一个由容量决定的水平上变平。小模型下降得早，但很快就“装不下”了；大模型每一步更贵，起步慢，但能降得更低。(2) 下包络是“给定算力能达到的最低损失”，它依次经过越来越大的模型，近似是一条直线：在默认种子下从 \(2.5\times10^6\) FLOPs 的 0.094 降到 \(3.2\times10^8\) FLOPs 的 0.0028，斜率约 −0.77（换种子在 −0.65 到 −0.80 之间）。这就是“算力的 scaling law” \(L^\ast(C)\propto C^{-\gamma}\)。(3) 把每个模型训练到最后的损失对 \(N\) 作图，6 个点（0.089、0.053、0.023、0.011、0.0050、0.0027）也近似在一条斜率约 −1.07 的直线上。

任务 2 揭示了不可约损失：测试目标带噪声时，再大的模型也只能逼近 \(\sigma^2\)，曲线在双对数坐标上向上弯，直线拟合的斜率被低估。正确的形式是 \(L=\hl{floor}{E}+A\,N^{-\alpha}\)，其中 \(E\) 是数据本身的熵（噪声、真正的随机性），只有 \(L-E\) 才服从幂律。任务 3 是 Kaplan 与 Chinchilla 结论不同的原因之一（第 5 节）：超参数，尤其是学习率衰减的长度，必须和每次训练的长度匹配；配错了，大模型显得比实际差，你就会低估规模的回报。

scaling law 的价值在于外推：用便宜的小实验预测昂贵的大实验。做法是1.13 节的最小二乘，在对数空间里做：纯幂律对 \(\log L\) 和 \(\log N\) 拟合一条直线；带地板的形式 \(E+AN^{-\alpha}\) 有三个参数，这里对 \(E\) 做网格搜索、对每个 \(E\) 拟合 \(\log(L-E)\) 的直线，选对数残差平方和最小的那个。在对数空间拟合，是因为不同随机种子之间的波动通常近似是乘性的（下图假设为 1%）。

下图的数据点来自一个隐藏的“真实规律”，加上 1% 的乘性噪声，每半个数量级一个模型，从 \(10^6\) 到 \(10^{12}\) 个参数。真实规律默认是 Chinchilla 拟合公式中的参数项 \(1.69+406.4\,N^{-0.34}\)（数据无限时的损失）。你只能“看到”拟合范围里的点；任务是预测 \(10^{12}\) 处的损失。

具体数字（默认噪声种子）。用 \(10^6\)–\(10^8\) 的 5 个点：带地板的拟合在 \(10^{12}\) 处预测 1.70（自助法范围 1.54–1.85），真实值 1.72，很好；同样的点用直线拟合，预测 0.49，因为直线以为损失可以一直降到零。把范围扩大到 \(10^9\)，直线的预测变成 0.68，它许诺的进步是真实进步的 5 倍：更多的点并不能挽救错误的函数形式。另一面，如果只拟合一个数量级（比如 \(10^{6.5}\)–\(10^{7.5}\)），带地板的拟合的自助法范围从 0.43 一直到 1.61：三个参数在这么短的直线上根本分不开，地板 \(E\) 尤其定不下来。

“规律改变”是最危险的情形：小规模的点和默认情形完全一样，任何拟合方法都看不出来，但真实曲线在 \(10^9\) 之后变平了，用 \(10^6\)–\(10^9\) 拟合的地板模型预测 1.63（范围 1.57–1.68），而真实值是 1.87，许诺的进步是实际的 3 倍。现实中这类“断点”确实出现过：数据开始重复、换了一种评测、模型进入了新的工作区间（Caballero 等，2023 把这种形状叫作 broken neural scaling laws）。外推的距离越远，越要怀疑。

算力 \(\hl{iso}{C\approx6ND}\) 是参数量和数据量的乘积。预算固定时，模型大一点就只能少看一些数据，反之亦然。最好的配比是多少？Kaplan 等人（2020）的结论是模型应该比数据长得快得多：\(N_{\rm opt}\propto C^{0.73}\)。两年后 Hoffmann 等人（2022，DeepMind）用 400 多个模型、每个规模都把学习率衰减调到与训练长度匹配，得到了不同的结论：参数和数据应该同比例增长，\(N_{\rm opt}\propto C^{a}\)、\(D_{\rm opt}\propto C^{b}\)，\(a\approx b\approx0.5\)，相当于每个参数约 20 个 token。他们按这个配比训练了 700 亿参数、1.4 万亿 token 的 Chinchilla，算力与 2800 亿参数、3000 亿 token 的 Gopher 相近，却在大多数评测上更好。

他们的第三种方法直接拟合 \(L(N,D)=E+A/N^\alpha+B/D^\beta\)。原文给出的系数后来被 Besiroglu 等人（2024）复核时发现与原文的另外两种方法不一致；下图用的是这次复核重新拟合的系数（\(E=1.82\)，\(A=482\)，\(B=2085\)，\(\alpha=0.348\)，\(\beta=0.366\)），它给出的最优配比约为每参数 20 个 token，与 Chinchilla 一致。注意：这些数字属于特定的数据集、分词器和模型族（17.5 节），不能直接搬到机器人上，但形状和推理可以。

几个读数。按复核后的公式，最优点的 token/参数比随算力缓慢变化：\(10^{18}\) 时约 26，\(10^{22}\) 时约 20，\(10^{24}\) 时约 18。等算力线上的谷很平：在 Gopher 的算力下，参数量偏离最优值 2 倍（0.3 个数量级），损失只差 0.25%；但 Gopher 的配比偏了约 4 倍，按这个公式，一个最优配比只需要它一半的算力就能达到同样的损失。GPT-3 式的配比（1750 亿参数、3000 亿 token）效率约 61%。

反过来，“过度训练”一个小模型也有它的道理。Meta 的 Llama 3 8B 用了约 15 万亿 token 训练，远超每参数 20 个 token；按图中的公式，同样的损失用最优配比只要约 18% 的算力。为什么要多花 5 倍多的训练算力？因为推理成本由 \(N\) 决定，而模型要被调用无数次。机器人更是如此：策略必须在机器人自己的计算机上以 10–50 Hz 运行，\(N\) 有硬上限。任务 2 显示了上限的后果：上限下的损失有自己的地板 \(E+A/N_{\max}^\alpha\)，再多的数据也越不过去；在到达那个地板之前，把预算花在数据上是对的。

损失平滑下降，可很多能力看起来是突然出现的：模型小于某个规模时某项任务的成功率接近零，越过某个规模后迅速上升。Wei 等人（2022）把这类现象称为涌现能力，并收集了许多例子。Schaeffer、Miranda 与 Koyejo（2023）提出了另一种解释：很多“涌现”来自指标而不是模型。全对才算对的指标（精确匹配、整个任务成功）把平滑的逐步进步变成了陡峭的曲线；换成连续的指标，跳变往往消失。

机器人上的版本：一个长时程任务（比如收拾桌子）由 \(k\) 个子步骤组成，必须每一步都成功。设每一步的对数损失随规模平滑地按幂律下降 \(\hl{ell}{\ell(N)}=(N/10^7)^{-0.5}\)，每一步的成功率 \(\hl{pstep}{p(N)}=e^{-\ell(N)}\)，整个任务的成功率是 \(\hl{pk}{p^k}=e^{-k\ell(N)}\)。下图比较三种指标。

数字。\(k=20\) 时，任务成功率在 \(N=10^{8.9}\) 达到 10%、在 \(10^{11.6}\) 达到 90%；在这两点，每一步的成功率分别是 0.891 和 0.995：每一步只是从“还不错”变成“几乎完美”，整个任务却从“几乎从不成功”变成“几乎总成功”。“7 个模型 × 20 次试验”的测量值（\(k=20\)，默认种子）是 0、0、0、0.10、0.35、0.85、0.95：前三个规模都是 0/20，看上去能力是在 \(10^9\) 附近“出现”的。真正平滑的是对数损失 \(k\ell(N)\)，它在双对数坐标上是一条直线，从来没有跳变。

一个反直觉的细节：在对数横轴上，\(p^k\) 从 10% 升到 90% 跨越的宽度与 \(k\) 无关（这里总是 2.68 个数量级，第 7 节推导），\(k\) 只把整条曲线往右推。所以“越长的任务越陡”并不对，真正的变化是：长任务的上升被推迟到逐步成功率已经很高的区间，而在那之前它一直贴着零。这场争论并没有完全结束：也有研究认为某些能力即使用连续指标也表现出急剧变化。实际的教训是：报告连续指标（对数损失、部分得分），把试验次数和置信区间写清楚，不要用两三个规模的成功率去宣称能力“出现”了。机器人评测常常每个条件只做 10–50 次试验：20 次试验、真实成功率 50% 时，95% 置信区间约为 ±22 个百分点。

纯幂律 \(L(x)=A\,x^{-\alpha}\)（\(x\) 是 \(N\)、\(D\) 或 \(C\)）满足 \(L(\lambda x)=\lambda^{-\alpha}L(x)\)：放大 \(\lambda\) 倍，损失乘以 \(\lambda^{-\alpha}\)，与起点无关，这种尺度不变性正是它在双对数坐标上是直线的原因。带地板的形式 \(L=\hl{floor}{E}+A\,x^{-\alpha}\) 的局部斜率是

$$\frac{d\log L}{d\log x}=-\alpha\,\frac{L-E}{L},$$

远离地板时（\(L\gg E\)）接近 \(-\alpha\)，接近地板时趋于零：这就是 FIG 2 加噪声后和 FIG 3 里曲线向上弯的原因。在一段有限的范围里用直线去拟合，得到的是这段范围里的平均局部斜率，它系统性地小于 \(\alpha\)，而且外推时会一直保持这个斜率，所以会低估地板、高估进步。

设测量值 \(L_i=L(x_i)\,e^{\varepsilon_i}\)，\(\varepsilon_i\sim\mathcal N(0,s^2)\)（乘性噪声）。纯幂律的最大似然估计就是 \(y_i=\log L_i\) 对 \(u_i=\log x_i\) 的普通最小二乘（1.13 节）：

$$\hat\alpha=-\frac{\sum_i(u_i-\bar u)(y_i-\bar y)}{\sum_i(u_i-\bar u)^2},\qquad \operatorname{Var}(\hat\alpha)=\frac{s^2}{\sum_i(u_i-\bar u)^2}.$$

分母是拟合点在 \(\log x\) 上的分散程度：范围窄一半，\(\hat\alpha\) 的标准差大一倍；而外推到距离中心 \(\Delta u\) 处，\(\log L\) 的预测误差约为 \(\Delta u\cdot\mathrm{sd}(\hat\alpha)\)，随外推距离线性增长。带地板时 \(\log L=\log(E+Ae^{-\alpha u})\) 对 \(E\) 非线性；FIG 3 对 \(E\) 做网格搜索，对每个 \(E\) 做上面的线性拟合。当拟合范围很窄、\(L-E\) 在范围内变化不大时，\(E\)、\(A\)、\(\alpha\) 几乎可以互相替代（残差几乎一样），这就是 FIG 3 里一个数量级的拟合定不下来的原因。

\(n\) 个均匀样本在 \(d\) 维单位立方体里，一个测试点 \(\mathbf x\) 到最近样本的距离 \(r\) 满足 \(P(r>t)=(1-V_dt^d)^n\approx e^{-nV_dt^d}\)（\(V_d\) 是单位球体积），所以 \(r\) 的典型大小是 \((nV_d)^{-1/d}\)，\(\mathbb E[r^2]\propto n^{-2/d}\)。对光滑的 \(f\)，最近邻的误差 \(f(\mathbf x_{\rm nn})-f(\mathbf x)\approx\nabla f(\mathbf x)^\top(\mathbf x_{\rm nn}-\mathbf x)\)，方向随机时其平方的期望是 \(\tfrac1d\|\nabla f\|^2\,\mathbb E[r^2]\)，于是

$$\text{MSE}(n)\propto n^{-2/d}.$$

分段线性的近似（ReLU 网络、线性插值）的误差是 \(O(r^2)\)，平方误差 \(\propto n^{-4/d}\)；用 \(N\) 个参数把输入空间分成 \(N\) 块时，同样的论证给出 \(L\propto N^{-4/d}\)，这是 Sharma 与 Kaplan（2022）把实测指数与数据流形内在维数联系起来的思路。一般地，函数越光滑、内在维数越低，指数越大。

Kaplan 等人（2020）在 Transformer 语言模型上测得（\(N\) 不计嵌入层参数，损失是每个 token 的交叉熵，单位 nat）：

$$\begin{gathered}L(N)\approx\Big(\frac{N_c}{N}\Big)^{\alpha_N},\ \alpha_N\approx0.076;\qquad L(D)\approx\Big(\frac{D_c}{D}\Big)^{\alpha_D},\ \alpha_D\approx0.095;\\ L(C_{\min})\propto C_{\min}^{-0.050},\end{gathered}$$

前两条分别是数据无限（训练到收敛）和模型足够大（早停）时的情形，第三条是 FIG 2 那样的算力前沿 \(\hl{front}{L^\ast(C)}\)。三个指数都很小：\(\alpha_N=0.076\) 意味着参数多 10 倍，损失只乘以 \(10^{-0.076}\approx0.84\)。他们还提出了联合形式 \(L(N,D)=\big[(N_c/N)^{\alpha_N/\alpha_D}+D_c/D\big]^{\alpha_D}\)，并从对算力高效训练的分析（模型大小与训练步数的联合拟合）得出 \(N_{\rm opt}\propto C^{0.73}\)。这些纯幂律没有地板项，只在测量的范围里成立。

在约束 \(6ND=C\) 下最小化 \(L(N,D)=E+AN^{-\alpha}+BD^{-\beta}\)。代入 \(D=C/(6N)\)：

$$\begin{gathered}L(N)=E+AN^{-\alpha}+B\Big(\frac{6N}{C}\Big)^{\beta},\\ \frac{dL}{dN}=-\frac{\alpha A}{N^{\alpha+1}}+\frac{\beta B}{N}\Big(\frac{6N}{C}\Big)^{\beta}=0\ \Longrightarrow\ \alpha A\,N^{-\alpha}=\beta B\,D^{-\beta}.\end{gathered}$$

最优点上，模型项和数据项按指数加权后相等：再多一点参数和再多一点数据带来的边际收益一样。解出

$$\begin{gathered}\hl{nopt}{N_{\rm opt}(C)}=G\Big(\frac C6\Big)^{\frac{\beta}{\alpha+\beta}},\qquad D_{\rm opt}(C)=G^{-1}\Big(\frac C6\Big)^{\frac{\alpha}{\alpha+\beta}},\\ G=\Big(\frac{\alpha A}{\beta B}\Big)^{\frac1{\alpha+\beta}}.\end{gathered}$$

复核后的系数给出 \(a=\beta/(\alpha+\beta)=0.513\)、\(b=0.487\)：几乎对半分，算力多 100 倍，参数和数据各多约 10 倍（Kaplan 的 0.73 则意味着参数多 29 倍、数据只多 3.5 倍）。\(\alpha\approx\beta\) 是“同比例增长”的根源。把 \(N_{\rm opt},D_{\rm opt}\) 代回去，\(L^\ast(C)-E\propto C^{-\alpha\beta/(\alpha+\beta)}\)，指数约 0.18：算力前沿本身也是带地板的幂律。若推理要求 \(N\le N_{\max}\)，当 \(N_{\rm opt}(C)>N_{\max}\) 时最优解贴在约束上，\(L\to E+AN_{\max}^{-\alpha}\)（FIG 4 的任务 2）。

若每一步独立、对数损失为 \(\hl{ell}{\ell(N)}=cN^{-\alpha}\)，整个任务成功率为 \(y=e^{-k\ell}\)。解出达到成功率 \(y\) 所需的规模：

$$\log_{10}N_y=\frac1\alpha\log_{10}\frac{kc}{\ln(1/y)}.$$

从 10% 到 90% 的宽度 \(\log_{10}N_{0.9}-\log_{10}N_{0.1}=\frac1\alpha\log_{10}\frac{\ln10}{\ln(1/0.9)}=\frac{1.34}{\alpha}\)，与 \(k\) 无关（FIG 5 中 \(\alpha=0.5\)，宽 2.68 个数量级），\(k\) 只使曲线平移 \(\frac1\alpha\log_{10}k\)。而 \(-\log y=k\ell(N)\) 本身是一条幂律。部分得分 \(\frac1k\sum_{j=1}^k p^j\) 在 \(p\) 不大时就已经离开零，上升得更早、更平缓。现实中各步并不独立、错误也可以纠正，但结论的方向不变：非线性的、阈值式的指标会把平滑的进步变成看似突然的跳变。

语言模型的 scaling law 是在“数据几乎无限”的前提下测出来的：Chinchilla 用了 1.4 万亿个 token，后来的模型用到十几万亿。机器人没有这样的数据。到 2024 年，公开的大型真实机器人数据集是这样的量级：RT-1（Brohan 等，2022）在 17 个月里用 13 台机器人采了约 13 万条示教、覆盖 700 多个任务；DROID（Khazatsky 等，2024）由 50 位采集者在 12 个月里于 564 个场景采了 7.6 万条轨迹（350 小时）；Open X-Embodiment（2023）汇集了 21 个机构、22 种机器人的 100 多万条轨迹。粗略估一下：即使每条轨迹有 100 个控制步，100 万条也只是 \(10^8\) 个“动作样本”，比 Chinchilla 的 token 数少四个数量级，而且每一条都要人亲手遥操作（22.3 节）。

数据这么贵，问题就变成：同样的示教预算，怎样采最有用？FIG 1 的结论是“数据要填满策略会遇到的空间”。对机器人，最难填满的维度往往不是物体在桌上的位置，而是环境：不同的厨房、桌面、光照、物体实例。下图是一个模拟实验：策略要从示教里学会抓取偏移量，动作取决于物体位置 \(\mathbf s\in[-1,1]^2\) 和 3 个环境因素 \(\mathbf z\in[-1,1]^3\)（比如桌面高度、光照造成的视觉偏差、物体形状），\(\mathbf a=\mathbf s+\mathbf g(\mathbf z)\)，\(\mathbf g\) 是一个平滑的非线性函数。数据集由 \(E\) 个环境、每个环境 \(M\) 条示教组成；策略是一个基于 150 个随机傅里叶特征的岭回归（一种平滑的全局函数逼近器），在 300 个全新环境中的随机状态上测试，误差小于 0.1 算成功。

每一行在 \(M\approx8\) 之后就基本不变了：一个环境里，物体位置这两个维度很快被覆盖，再多的示教只是重复。每一列却一路上升，而且即使有 64 个环境，成功率也只有约 70%：3 维的环境空间还远没有被填满，这和 FIG 1 里 \(n^{-2/d}\) 的逻辑一样。真实实验得出过同样的结论。RT-1 的消融实验比较了“减少每个任务的示教数”和“减少任务种类”（后者只去掉了 3% 的数据，却去掉了 25% 的任务），发现减少多样性的伤害大得多，作者的结论是数据多样性比数据数量更关键。Lin 等人（2025）用手持夹爪（UMI 式，22.3 节）采了 4 万多条示教，在真实机器人上做了 1.5 万多次测试，发现策略在新环境、新物体上的泛化能力随训练环境数和物体数近似按幂律增长，而每个环境或物体的示教数超过某个阈值后，再增加几乎没有效果。