预训练与微调（LoRA）

机器人数据很贵。一条遥操作演示要一个人花上一两分钟，一台机器人一天也就采几百条；而 17.3 节那样的 Transformer 动辄上亿参数，从零开始训练需要的数据量远远超过一个实验室能采到的。另一方面，互联网上有数十亿张图片和句子，开放数据集里有上百万条来自几十种机器人的轨迹。预训练 + 微调把这两件事接起来：先在“广而杂”的大数据上学到通用的表示和技能（预训练），再用目标任务的“少而精”的数据做一次小幅修改（微调）。

18.3 节已经见过最简单的一种：冻结预训练好的编码器，只在它的特征上训练一个线性分类器（线性探针）。本节把问题问完整：什么时候冻结就够了？什么时候必须改动网络本身？改动之后，模型原来会的东西还在不在？一个 70 亿参数的视觉-语言-动作模型（VLA），要怎样才能在一张显卡上、用一两百条演示完成微调？答案的核心是 LoRA：不改原始权重，只学一个低秩的增量 \(\Delta W=BA\)。

本节的玩具问题是一个真实的机器人问题：保持力矩。机械臂第 2 个关节要停在角度 \(q\) 不动，电机需要输出多大的力矩 \(\tau(q)\)？它由重力（8.1 节的 \(g(q)\)，形如 \(a\cos q+b\sin q\)，\(a,b\) 取决于负载和质心）、传感器零偏，以及传动系统里每转重复 4 次的力矩波动组成。同一型号的 32 台机器人负载、零偏、波动的相位都不一样，我们在仿真里为每台采了大量数据。

预训练的网络是一个“主干 + 多个头”的结构：关节角以 \((\cos q,\sin q)\) 的形式输入（转动关节的常规编码），经过两层 32 个单元的 tanh 隐藏层，再到一个 6 维的表示 \(\hl{phi}{\boldsymbol\phi(q)}\)；每台机器人各有一个线性的头，\(\tau_k(q)\approx\mathbf w_k^\top\boldsymbol\phi(q)+b_k\)。为了让 32 个头都满意，主干必须学会这个机器人家族共有的结构。页面打开时这次预训练就在后台跑完了：3000 步，32 台机器人的平均误差降到约 0.014 N·m。

现在来了第 33 台机器人，我们只测了 12 个角度。最省事的做法是冻结主干，只为它拟合一个新的头 \(\hl{head}{\mathbf w}\)：这就是线性探针（linear probe），也就是 1.13 节的最小二乘，基函数换成了 \(\phi_1(q),\dots,\phi_6(q)\)。

给新机器人准备两种情况。同一家族：只是换了负载，曲线仍是重力 + 零偏 + 波动。新的效应：同样的机器人，但装了一个限位弹簧，\(q\) 超过 1 rad 后多出一段约 2 N·m/rad 的线性回弹力矩，这是预训练数据里从没有过的形状。每种情况采 \(N\) 个带噪声的测量（噪声标准差 0.05 N·m），四种方法同时训练：

• 从零训练：同样结构的网络，随机初始化，所有参数都训练。
• 线性探针：主干冻结，新头用岭回归一次解出（凸问题，不需要迭代，所以它的曲线一开始就是终点）。
• 全量微调：从预训练权重出发，所有参数都训练；新头先用线性探针的解初始化（这个做法叫 LP-FT，第 4 节解释原因；LoRA 的新头也这样初始化）。
• LoRA：所有预训练权重冻结；第二个隐藏层的 32×32 权重矩阵加上一个秩为 \(r\) 的增量 \(\frac{\alpha}{r}BA\)，只训练 \(B\)（32×\(r\)）、\(A\)（\(r\)×32）和新头。\(B\) 初始化为零，所以训练开始时模型和预训练模型一模一样。

四种方法用同样的 Adam 优化器、同样的批次（每步最多 32 个样本），训练 1000 步后自动停下。学习率按各自的习惯取：从零训练和 LoRA 用 0.003，全量微调用小一些的 0.001。

几个值得注意的地方。(1) 线性探针只有 7 个参数，对家族内的任务它几乎不可能过拟合；但在“新的效应”下，无论给多少数据，它都停在约 0.15 N·m：这是偏差，冻结的特征表达不了弹簧的折角（16.2 节的偏差–方差）。(2) 全量微调和 LoRA 在“同一家族”、\(N=16\) 时比它们出发时的探针更差：看右上的红线和绿线：它们从探针的误差出发，随着训练把噪声也拟合进去，误差一路升高（全量微调在第 200 步约 0.11，到 1000 步约 0.21）。这是微调最常见的失败方式，对策是早停、更小的学习率或者干脆只做探针。(3) 在“新的效应”下，默认的 \(N=64\) 里从零训练（约 0.07 N·m）已经比探针好，但仍不如两种微调（约 0.05 N·m）：预训练学到的重力和波动形状，从零训练要用更多数据才能自己找到。

一次训练的结果受随机性影响，下面把 \(N\) 从 8 扫到 256，每个 \(N\) 用 3 组不同的数据和初始化各训练 1000 步，画出测试误差的几何平均。对数–对数坐标下，曲线之间的水平距离就是“省了多少倍的数据”。

一个基础模型的价值在于它会很多东西。在新机器人上微调之后，那 32 台老机器人它还能用吗？我们保留每台老机器人原来的头不动，把它们接在微调后的主干上，再测一次误差（下文称“旧机器人误差”）。预训练模型本身的旧机器人误差约 0.014 N·m。如果微调把它大幅抬高，就叫灾难性遗忘（catastrophic forgetting，McCloskey 与 Cohen 1989）：神经网络的知识分布在所有共享的权重里，为新任务改动这些权重，就会顺带改动旧任务的答案。

三种常见的对策：(1) 回放（rehearsal / replay）：微调时混入一部分旧数据，损失变成 \(L+\hl{replay}{\beta}\,L_0\)（\(L\) 是新任务的损失，\(L_0\) 是旧任务的损失）；机器人领域常说的“联合微调”（co-fine-tuning，RT-2 用网络数据和机器人数据一起微调）就是这一类。(2) 把参数拉回预训练值：加正则项 \(\hl{l2sp}{\lambda}\|\boldsymbol\theta-\boldsymbol\theta_0\|^2\)（L2-SP，Li 等 2018）；EWC（Kirkpatrick 等 2017）是它的加权版本，对旧任务越重要的参数拉得越紧。(3) 不动原始权重：LoRA 和各种适配器把改动放在额外的参数里，随时可以拿掉。

LP-FT 的道理（Kumar 等 2022）：随机初始化的头一开始给出的是错得离谱的预测，它产生的大梯度会一路传回主干，在头学好之前就把预训练特征扭曲了；先用线性探针把头放到合理的位置，再一起微调，主干只需要做小的修正。在 FIG 4 里，这一个开关就让遗忘差了约四倍，而新机器人误差几乎不变（约 0.05 N·m）。

回放在这个玩具里比 L2-SP 划算：L2-SP 把所有参数一视同仁地往回拉，要压住遗忘就得把新任务也一起压住（\(\lambda=1\) 时旧机器人误差约 0.04，新机器人误差却退到约 0.12）；回放直接告诉网络“这些答案不许变”，网络会把改动放到旧任务不在乎的方向上。代价是你得一直保留、并且能用到旧数据。最后，把 LoRA 适配器“关掉”试试：旧机器人误差立刻回到 0.014，因为原始权重一个都没动。一个基础模型加上很多个可插拔的小适配器（每台机器人、每个任务一个），是 LoRA 在部署上最实际的好处。

LoRA（Hu 等 2021）基于一个经验观察：预训练模型在下游任务上需要的改动，其“内在维度”很低（Aghajanyan 等 2021 在语言模型上测过：在一个随机的低维子空间里优化几百到几千个参数，就能达到全量微调的大部分效果）。那就直接把权重矩阵的改动限制成低秩：

训练的参数从 \(dk\) 个降到 \(r(d+k)\) 个。下面的图先用全量微调在“新的效应”、\(N=128\) 上训练 1000 步，把第二个隐藏层的改动 \(\Delta W=W-W_0\) 拿出来做 1.12 节的 SVD：如果它的奇异值 \(\hl{sigma}{\sigma_i}\) 很快衰减，那么一个低秩矩阵就能代替它。同时训练一个 \(r=2\) 的 LoRA，看它的 \(\Delta W\) 长什么样。

第二个任务背后是一条简单而重要的事实：对一个样本，线性层 \(\mathbf z=W\mathbf h\) 的梯度是外积 \(\partial L/\partial W=\boldsymbol\delta\,\mathbf h^\top\)（16.3 节），秩为 1；一个批次 \(n\) 个样本的梯度是 \(n\) 个外积之和，秩不超过 \(n\)。微调的数据少、步数少、而且每步的梯度方向高度相关，累积起来的改动自然集中在少数几个方向上。LoRA 的 \(B\) 和 \(A\) 就是让优化器直接去找这几个方向。

LoRA 还有一个好处：训练完可以合并，\(W=W_0+\frac{\alpha}{r}BA\) 只是一个同样大小的矩阵，推理时的计算量和延迟与原模型完全相同（读数里的“合并误差”是合并前后输出的最大差，只剩浮点舍入）。想换任务时减去 \(\frac{\alpha}{r}BA\)、加上另一个即可。

LoRA 让需要训练的参数少了几百倍，但冻结的底座仍然要整个放进显存：70 亿参数用 16 位存就是 14 GB。全量微调更贵：混合精度的 Adam 每个参数要存 16 字节（16 位权重和梯度各 2 字节，32 位的权重主副本 4 字节，Adam 的两个矩估计 8 字节，ZeRO 论文的估算），70 亿参数就是 112 GB，还没算激活值。QLoRA（Dettmers 等 2023）把冻结的底座量化成 4 位，LoRA 的参数仍用 16 位训练，梯度穿过反量化后的权重传给 \(B\) 和 \(A\)。

最简单的量化是分块 absmax：把权重分成小块，每块记下最大绝对值 \(c\)，再把 \(w/c\in[-1,1]\) 四舍五入到 \(2^{b}-1\) 个等距的格点之一，只存格点编号（\(b\) 位）和每块一个 \(c\)。下面对我们的预训练网络这样做（每块是权重矩阵的一行，第一层则是一列；大多数块有 32 个数），看量化让老机器人的误差变大了多少，再在量化后的底座上训练 LoRA。

注意两个现象。第一，在 2 位底座上，LoRA 训练开始时的误差（约 0.20 N·m）比 16 位底座（约 0.15）差，但训练会把量化误差和新任务一起“修”掉：低秩增量加一个新头，足够补偿量化带来的那部分偏差。QLoRA 论文报告，用 4 位底座 + LoRA 微调，能达到 16 位全量微调的效果。第二，我们这个只有 1357 个参数的小网络对量化非常敏感（4 位时老机器人误差约 0.1 N·m，是全精度的 7 倍）；大模型的权重多、冗余大，对 4 位量化宽容得多。QLoRA 的 4 位格点也不是等距的，而是按正态分布的分位数放置（NF4），因为预训练权重大致服从零均值正态分布，靠近 0 的地方格点更密；它还把每块 64 个权重的常数 \(c\) 再量化一次（双重量化），并用分页优化器应对显存峰值。

记预训练得到的主干参数为 \(\boldsymbol\psi_0\)，新任务数据为 \(\{(x_i,y_i)\}_{i=1}^N\)，新头为 \(\mathbf w\)，模型 \(\hat y=\mathbf w^\top\boldsymbol\phi_{\boldsymbol\psi}(x)\)。四种做法只是“哪些变量可以动、从哪里出发”不同：

四行依次是：线性探针（LP）；全量微调，从探针的解出发（LP-FT）；加在全量微调上的三种防遗忘项，L2-SP、EWC 和回放；LoRA。线性探针里 \(\Phi\) 的第 \(i\) 行是 \(\boldsymbol\phi_{\boldsymbol\psi_0}(x_i)^\top\)（末尾补一个 1 作偏置），这就是 1.13 节的正规方程加岭项（FIG 1 和 FIG 2 用 \(\lambda=0.01\)，偏置不受惩罚）。第三行的中间一项是 EWC：\(F_i\) 是旧任务上 Fisher 信息矩阵的对角元，粗略地说是“损失对第 \(i\) 个参数有多敏感”，所以 EWC 是“按重要性加权的 L2-SP”。回放项 \(L_0\) 在 FIG 4 里是 32 台老机器人通过各自冻结的头的均方误差，每步随机取 16 个角度。悬停这些公式，FIG 2 和 FIG 4 里对应的曲线会加粗。

令 \(G=\partial L/\partial W\) 为合并后权重 \(W=W_0+sBA\)（\(s=\alpha/r\)）上的普通梯度，也就是全量微调会用到的那个梯度。由链式法则：

页面的代码正是这样做的：用 nn.js 在合并后的网络上反传得到 \(G\)，再乘上 \(A^\top\) 或 \(B^\top\)。从这两个式子能读出初始化的讲究：如果 \(A\) 和 \(B\) 都从零开始，两个梯度都是零，永远动不了；如果都随机，训练一开始模型就被一个随机的 \(sBA\) 扰乱了。所以 LoRA 让 \(B=0\)、\(A\) 随机：起点就是预训练模型，而 \(\partial L/\partial B=sGA^\top\neq0\)，第一步就能动起来。缩放 \(s=\alpha/r\) 让“改变秩”和“改变学习率”大致解耦：\(r\) 变大时每一列的贡献按 \(1/r\) 缩小，LoRA 论文因此把 \(\alpha\) 固定为第一个尝试的 \(r\)，之后不再调它（我们取 \(\alpha=2r\)）。

参数个数。一个 \(d\times k\) 的矩阵：全量 \(dk\)，LoRA \(r(d+k)\)。\(d=k=4096\)、\(r=8\) 时是 65,536 对 16,777,216，约 0.39%。我们的玩具：全量微调 1357 个参数（\(2\cdot32+32\) + \(32\cdot32+32\) + \(32\cdot6+6\) + 新头 7），LoRA \(r=2\) 是 \(2\cdot2\cdot32=128\) 加新头 7，共 135 个。

适配器（adapter，Houlsby 等 2019）是更早的做法：在每个 Transformer 子层后面插入一个小瓶颈 \(\mathbf h\leftarrow\mathbf h+W_{\uparrow}\,\sigma(W_{\downarrow}\mathbf h)\)，\(W_{\downarrow}\in\mathbb R^{m\times d}\)，\(m\ll d\)，只训练这些小矩阵。参数同样很少，但中间有非线性 \(\sigma\)，没法并进原权重，推理时多出串行的计算。提示微调 / 前缀微调则只学几个附加在输入序列（或每层键值）前面的向量，参数更少，表达力也更弱。

FIG 5 的 \(\Delta W_r\) 用的是 SVD 截断 \(\Delta W_r=\sum_{i\le r}\sigma_i\mathbf u_i\mathbf v_i^\top\)。Eckart–Young 定理（1.12 节）说它是所有秩不超过 \(r\) 的矩阵里离 \(\Delta W\) 最近的（Frobenius 范数下），误差恰好是 \(\|\Delta W-\Delta W_r\|_F^2=\sum_{i>r}\sigma_i^2\)，读数里的能量比例就是 \(\sum_{i\le r}\sigma_i^2/\sum_i\sigma_i^2\)。LoRA 并不先算全量微调再截断，而是直接在秩 \(r\) 的矩阵里优化，学到的 \(\Delta W\) 也不必等于全量微调的截断：FIG 5 里 LoRA 的 \(BA\) 和全量微调的 \(\Delta W\) 长得并不一样，测试误差却差不多，因为能把新任务做好的改动不止一个。

机器人学习里的预训练大致经历了三个阶段。冻结的视觉编码器：在 ImageNet、人类视频（R3M）或大规模图像上自监督（MVP、VC-1）预训练一个编码器，冻结后在它的特征上训练策略，就是 18.3 节和 18.4 节讲过的“线性探针”思路的延伸。从视觉-语言模型出发：RT-2（Brohan 等 2023）把动作写成文本 token（17.5 节），在大规模视觉-语言模型上用机器人数据微调；它采用联合微调，把原来的网络视觉问答数据和机器人轨迹混在一起训练，正是 FIG 4 的回放，目的是不忘掉从网络上学到的物体和概念。在跨本体机器人数据上预训练的通用策略：Octo（Octo Model Team 2024）在 Open X-Embodiment 的 80 万条轨迹上预训练，论文报告能在普通的消费级显卡上用几个小时把它微调到新的传感器输入和动作空间；OpenVLA（Kim 等 2024）是一个 70 亿参数的 VLA，在 97 万条真实机器人演示上训练。

OpenVLA 的论文给出了一组很能说明问题的数字。在每个任务只有 10 到 150 条演示的 Franka 机械臂任务上，全量微调需要 8 张 A100 每个任务训练 5 到 15 小时；LoRA（秩 32）只训练 1.4% 的参数，平均成功率 68.2%，与全量微调的 69.7% 相当，只用一张 A100 训练 10 到 15 小时；作者还发现秩的大小对成功率影响很小。部署时，4 位量化推理的成功率与 16 位推理相当，显存不到一半（8 位量化反而变差，作者归因于推理速度变慢）。π0（Black 等 2024）则沿用了语言模型“预训练 + 后训练”的说法：先在大量多机器人数据上预训练，再用精心筛选的高质量数据把它微调到叠衣服这类复杂的灵巧任务上。