Flow Matching（流匹配）

机器人策略要输出的往往不是“一个动作”，而是“动作的分布”。同一个场景下，示教者有时从左边绕开障碍，有时从右边；同一个杯子可以从好几个方向抓。19.1 节已经看到，用均方误差回归动作会学到两个模式的平均，正好撞上障碍物。所以我们需要一个能表达多峰分布、又能快速采样的生成模型。

19.6 节的扩散模型能做到前一半：它把数据一步步加噪成高斯，再学习如何一步步去噪，样本质量很好，Diffusion Policy（22.2 节）就是这样生成动作的。但机器人有一个很硬的约束：时间。一个以 50 Hz 运行的控制器，每 20 ms 就要给出下一个动作；如果采样一次要几十到上百次网络前向，就很难赶上。19.3 节的连续 flow 是另一条路：沿一个向量场积分 ODE 就能采样，可是按最大似然训练它，每一步训练都要把 ODE 积分一遍。

Flow matching（Lipman 等，2023；同期的 rectified flow 与 stochastic interpolants 是同一类想法）把两者的优点拼在一起：它学的也是一个把噪声“流”成数据的速度场 \(\mathbf v_\theta(\mathbf x,t)\)，但训练时不积分，只是对一个随手就能写出来的目标做回归；而且这个目标来自直线路径，所以通常几步积分就够了。π0 这类视觉-语言-动作模型的动作头用的就是它：每次推理只积分 10 步，就生成一整段 50 步的动作块。

3.6 节把向量场想成一条河：撒一把沙子，每粒沙子顺着水流漂。现在我们想设计一条河，让 \(t=0\) 时撒下的一团高斯沙子 \(p_0=\mathcal N(\mathbf 0,I)\)，到 \(t=1\) 时恰好堆成数据的形状 \(q\)。最笨也最直接的办法：随机配对，每粒噪声 \(\mathbf x_0\sim p_0\) 配一个数据点 \(\mathbf x_1\sim q\)，让它沿直线匀速走过去：

在每个时刻 \(t\)，所有沙粒的位置构成一个分布 \(\hl{pt}{p_t}\)，从 \(p_0\)（高斯）连续地变到 \(p_1=q\)（数据）。这一串分布叫概率路径。问题在于：这些直线会交叉。两条直线在同一个时刻穿过同一点，却要朝不同方向走，而一个向量场在一个点只能给出一个速度。解决办法就是本节的核心：在每个点 \((\mathbf x,t)\)，取所有经过这里的直线速度的平均，

第二个等号用了 \(\mathbf x_0=(\mathbf x-t\mathbf x_1)/(1-t)\)：知道了现在的位置和终点，起点就确定了。\(p(\mathbf x_1\mid\mathbf x_t=\mathbf x)\) 是“一粒此刻在 \(\mathbf x\) 的沙子，终点是哪里”的后验。一个不显然、却是本节最重要的事实是：沿这个平均速度场漂流，整团沙子在每个时刻的分布仍然恰好是 \(p_t\)（第 5 节证明）。单粒沙子的路线变了：它们不再走直线，而是走一条弯曲、互不交叉的曲线，但整体的“人群密度”与直线配对时一模一样。下图在一维里把两者画在一起。横轴是时间，纵轴是位置。

把上面的配方原样写成代码，就是条件 flow matching（CFM）的训练循环。每一步：抽一批噪声 \(\mathbf x_0\sim\mathcal N(\mathbf 0,I)\)、一批数据 \(\mathbf x_1\sim q\) 和时间 \(t\sim\mathcal U[0,1]\)，算出 \(\mathbf x_t\)，让网络在那里预测速度，与直线速度 \(\mathbf x_1-\mathbf x_0\) 比平方误差：

没有 ODE、没有雅可比行列式、没有噪声调度表：就是一个回归问题，梯度用 16.3 节的反向传播。下图的网络是一个 \([5,48,48,2]\) 的 GELU MLP，输入是 \((x,y,t,\sin\pi t,\cos\pi t)\)，共 2738 个参数；优化器是 Adam（学习率 0.003，2000 步后降到 0.001），每步 64 个样本。数据是二维的高斯混合，这样页面能算出精确的平均速度场 \(\mathbf u_t\)（第 5 节给出公式），于是我们可以直接量出网络离理想答案还有多远：

第一项是场误差 \(\mathcal E(\theta)\)，训练能把它压向零；第二项 \(\mathcal L^*\) 与 \(\theta\) 无关，是直线速度围绕平均值的散布：同一点上直线们彼此越不一致，它越大。所以 CFM 的损失永远不会降到零，就像 16.2 节验证损失有一个噪声地板一样。采样时从 500 个固定的高斯样本出发，用 Euler 法积分 \(\mathbf x\leftarrow\mathbf x+h\,\mathbf v_\theta(\mathbf x,t)\)，\(h=1/N\)（2.5、3.6 节）。

训练好之后，生成一个样本就是解一个 ODE：\(\dot{\mathbf x}=\mathbf v_\theta(\mathbf x,t)\)，从 \(t=0\) 积到 \(t=1\)。每次网络前向（NFE，number of function evaluations）都要花时间，所以问题是：给定一个 NFE 预算，样本有多准？下图用精确的平均场（不是网络）把“学得好不好”和“积分得准不准”分开，只看后者。除了直线路径，也可以选一条余弦路径 \(\mathbf x_t=\sin(\tfrac{\pi t}{2})\mathbf x_1+\cos(\tfrac{\pi t}{2})\mathbf x_0\)：它的信号和噪声系数平方和为 1，与 19.6 节扩散模型常用的“方差保持”型路径属于同一类（第 5 节）；把时间反过来（\(t=1-\tau/T\)），它就是 19.6 节的余弦日程（略去那里的小偏移 \(s\)），\(\sin\tfrac{\pi t}{2}\approx\sqrt{\bar\alpha_\tau}\)。积分方法可选 Euler（每步 1 次 NFE，一阶）或中点法（每步 2 次 NFE，二阶，3.6 节 FIG 4 里的 Heun 也是二阶）。

答案是余弦路径 + Euler（0.141，直线 + Euler 是 0.177，两种中点法都在 0.26 以上）。这值得停下来想一想。直线路径的条件路径是直的，但独立随机配对时，平均之后的边缘轨迹仍然是弯的，FIG 3 的青色曲线就是证据；在这个例子里，余弦路径配上等间距的时间步反而更好积分。真实的采样器还会把时间步排得不均匀，所以“哪条路径更省步数”没有放之四海皆准的答案。直线路径真正的优势在别处：如果配对本身是“不交叉”的，直线路径下的边缘轨迹就真的是直线，一步 Euler 就精确。下一张图就去造这样的配对。

边缘轨迹之所以弯，是因为训练时的直线互相交叉，平均之后拐了弯。交叉来自随机配对：一粒在左上的噪声，可能被配给右下的数据点。两种办法能让配对“有序”：

• 小批量最优传输（Tong 等，2024；Pooladian 等，2023）：每个批次里有 64 个 \(\mathbf x_0\) 和 64 个 \(\mathbf x_1\)，不再随机配，而是求一个让总平方距离 \(\sum_i\|\mathbf x_0^{(i)}-\mathbf x_1^{(\sigma(i))}\|^2\) 最小的一一配对 \(\sigma\)（指派问题，本页用匈牙利算法精确求解）。最优传输的配对线段互不交叉。
• Reflow（Liu 等，2023 的 rectified flow）：先训练一个普通的 flow，然后从噪声 \(\mathbf x_0\) 出发积分它得到 \(\mathbf x_1=\mathrm{ODE}(\mathbf x_0)\)，把这些 \((\mathbf x_0,\mathbf x_1)\) 当作新的配对再训练一次。ODE 的轨迹互不交叉，所以新的配对也不交叉，新的流更直。本页为了省时间，直接用精确平均场的 ODE（RK4，10 步）生成 2000 对，也就是 FIG 2 那个网络努力逼近的流。

记 \(\mathbf z=(\mathbf x_0,\mathbf x_1)\) 为一对配对，按某个联合分布 \(\pi(\mathbf z)\) 抽取；独立配对时 \(\pi=p_0\otimes q\)。每一对给出一条条件路径：\(\mathbf x_t=\psi_t(\mathbf z)=(1-t)\mathbf x_0+t\mathbf x_1\)，速度 \(\hl{cond}{\mathbf u_t(\mathbf x\mid\mathbf z)=\mathbf x_1-\mathbf x_0}\)。对所有配对平均，就得到边缘的概率路径 \(\hl{pt}{p_t}\) 和边缘速度场：

这里 \(p_t(\mathbf x\mid\mathbf z)\) 是集中在 \(\psi_t(\mathbf z)\) 一点上的分布；分式就是后验 \(p(\mathbf z\mid\mathbf x_t=\mathbf x)\)。一个速度场 \(\mathbf v\) “生成”一条概率路径，是指沿它漂流的样本在每个时刻的分布都是 \(p_t\)，等价地，二者满足连续性方程（质量守恒，3.6 节的散度在这里出现）：

右边那个形式沿着轨迹 \(\dot{\mathbf x}=\mathbf v_t(\mathbf x)\) 成立，它正是 19.3 节 FIG 5 上方的瞬时换元公式；把左式展开成 \(\partial_tp+\mathbf v\cdot\nabla p+p\,\nabla\cdot\mathbf v=0\)，前两项合起来就是沿轨迹的全导数。

定理 1（边缘场生成边缘路径）。每条条件路径都满足自己的连续性方程 \(\partial_tp_t(\mathbf x\mid\mathbf z)+\nabla\cdot\big(p_t(\mathbf x\mid\mathbf z)\,\mathbf u_t(\mathbf x\mid\mathbf z)\big)=0\)（一个点沿直线匀速移动，当然质量守恒）。对 \(\pi(\mathbf z)\) 积分，对时间和空间的导数都可以拿到积分外面：

最后一步就是 \(\mathbf u_t\) 的定义（分子乘上 \(p_t\)）。所以 \(\mathbf u_t\) 满足 \(p_t\) 的连续性方程：从 \(p_0\) 出发沿 \(\mathbf u_t\) 积分，在 \(t=1\) 恰好得到 \(q\)。这就是 FIG 1 里紫色直线和蓝色曲线给出同一片底色的原因。

理想的目标是 flow matching 损失 \(\mathcal L_{\mathrm{FM}}(\theta)=\mathbb E_{t,\,\mathbf x\sim p_t}\|\mathbf v_\theta(\mathbf x,t)-\mathbf u_t(\mathbf x)\|^2\)，可惜 \(\mathbf u_t\) 算不出来。定理 2（条件 flow matching）：\(\mathcal L_{\mathrm{CFM}}\) 与 \(\mathcal L_{\mathrm{FM}}\) 只差一个与 \(\theta\) 无关的常数，所以梯度相同。证明只需把两个平方展开：

第二行用了条件期望的塔性质（先固定 \(\mathbf x_t\) 对配对求平均）。最后一项就是 FIG 2 的地板 \(\mathcal L^*\)，它等于“给定 \(\mathbf x_t\) 时直线速度的方差”的期望。它在配对越确定时越小：FIG 4 里独立配对的损失停在 2.8 到 2.9 之间，OT 降到 0.25 左右，reflow 只有 0.01 左右，但三个网络的“好坏”并不能从这三个数比出来。Lipman 等的原始论文是对 \(\mathbf x_1\) 单独条件化，用高斯条件路径 \(p_t(\mathbf x\mid\mathbf x_1)=\mathcal N\big(t\mathbf x_1,(1-(1-\sigma_{\min})t)^2I\big)\)，条件速度 \(\big(\mathbf x_1-(1-\sigma_{\min})\mathbf x\big)/\big(1-(1-\sigma_{\min})t\big)\)；\(\sigma_{\min}\to0\) 时它就是本节的 \(\mathbf x_1-\mathbf x_0\)。

取一般的高斯路径 \(\mathbf x_t=\alpha_t\mathbf x_1+\sigma_t\mathbf x_0\)（直线路径 \(\alpha_t=t,\ \sigma_t=1-t\)；余弦路径 \(\alpha_t=\sin\tfrac{\pi t}{2},\ \sigma_t=\cos\tfrac{\pi t}{2}\)），条件速度 \(\dot\alpha_t\mathbf x_1+\dot\sigma_t\mathbf x_0\)。若数据是 \(q=\sum_k\pi_k\,\mathcal N(\boldsymbol\mu_k,s_k^2I)\)，给定分量 \(k\) 时 \(\mathbf x_t\) 与速度是联合高斯的，4.4 节的条件高斯公式直接给出：

\(w_k\) 是 FIG 1 读数里的后验权重。代入直线路径和 \(t=0\)：\(c_k=-1\)、\(w_k=\pi_k\)，于是 \(\mathbf u_0(\mathbf x)=\mathbb E[\mathbf x_1]-\mathbf x\)，这就是 FIG 3 里“一步 Euler 落到均值”的来源。本页的双月和螺旋其实也是高斯混合（28 个和 26 个标准差 0.12 的小高斯沿曲线排开），所以 FIG 2 的场误差、FIG 3 的参考轨迹和 FIG 4 的 reflow 配对都能精确算出。

19.6 节的 DDPM 用的也是一条高斯路径：信号系数 \(\alpha\) 与噪声系数 \(\sigma\) 满足 \(\alpha^2+\sigma^2=1\)（方差保持），只是时间方向相反（DDPM 的第 0 步是数据，见第 2 节的约定对照），网络预测的是噪声 \(\boldsymbol\varepsilon\)（就是这里的 \(\mathbf x_0\)）。在高斯路径上，知道了 \(\mathbf x_t\)，下面三个量中任意一个都能换算出另外两个，所以“预测速度”“预测噪声”“预测干净数据”携带的信息相同。对直线路径：

其中“帽子”都表示给定 \(\mathbf x_t\) 的条件均值，\(\hat{\mathbf v}=\mathbf u_t(\mathbf x_t)\)。第三个式子把速度和 19.6 节的得分（score）联系起来（Tweedie 公式）。19.6 节 DDIM 的确定性采样器，就是在离散地积分这类 ODE（Song 等 2021 称之为概率流 ODE）。所以 flow matching 与扩散不是两类不同的模型，而是同一个框架里的不同选择：哪条路径（\(\alpha_t,\sigma_t\)）、网络输出什么（这会改变损失在不同 \(t\) 上的权重）、怎样抽 \(t\)、以及用 ODE 还是 SDE 采样。直线路径的好处是目标最简单（\(\mathbf x_1-\mathbf x_0\)，处处有界，不需要调度表），并且在配对有序时轨迹真正变直。

Euler 法每步的局部误差是 \(O(h^2)\)，累积 \(1/h\) 步后，与精确的流映射 \(\hl{ode}{\varphi_1(\mathbf x_0)}\)（3.6 节）之间的全局误差是 \(O(h)\)；中点法是 \(O(h^2)\)（2.5 节）。误差的常数取决于轨迹有多弯：如果每条轨迹都是匀速直线，\(\mathbf v\) 沿轨迹不变，Euler 一步就精确，\(\hl{euler}{\mathbf x_1=\mathbf x_0+\mathbf v_\theta(\mathbf x_0,0)}\)。什么样的配对能做到？Benamou 与 Brenier（2000）证明，二次代价的最优传输可以写成“动能最小的流”：

最优的流沿直线匀速搬运，粒子互不相撞。所以用最优传输配对再走直线，边缘轨迹就是直线（FIG 4 右边那些青色的配对线段 \(\hl{pair}{(\mathbf x_0,\mathbf x_1)}\) 短而几乎不交叉）。小批量 OT 只在每个批次内部求最优，是近似，批次越大越接近；reflow 用一个已有的 ODE 映射作配对，Liu 等证明这样做不会增加任何凸代价下的传输代价，并且反复 reflow 会让轨迹越来越直。代价是要多训练一次，并且配对来自模型本身，模型的误差会被带进新的数据里。

条件生成：把条件 \(\mathbf c\)（文本、图像特征、机器人观测）作为网络的额外输入，\(\mathbf v_\theta(\mathbf x,t,\mathbf c)\)，训练时配对取自同一个 \(\mathbf c\) 下的数据，其余不变；第 6 节的动作头就是这样。无分类器引导（19.6 节）原样适用于速度：\(\tilde{\mathbf v}=\mathbf v_\theta(\mathbf x,t,\varnothing)+w\,\big(\mathbf v_\theta(\mathbf x,t,\mathbf c)-\mathbf v_\theta(\mathbf x,t,\varnothing)\big)\)。似然：训练好的流是一个连续 normalizing flow，19.3 节的公式 \(\log p_1(\mathbf x_1)=\log p_0(\mathbf x_0)-\int_0^1\nabla\cdot\mathbf v_\theta\,dt\) 照样成立，需要时可以倒着积分求密度。时间的抽样：本页用 \(t\sim\mathcal U[0,1]\)；Stable Diffusion 3（Esser 等，2024）用 logit-正态分布把训练集中在中间的 \(t\)，π0 用一个偏向噪声一端的 Beta 型分布。这只改变损失在不同时刻上的权重，不改变最优解 \(\mathbf u_t\)。

π0（Black 等，Physical Intelligence，2024）是一个视觉-语言-动作模型：一个预训练的视觉-语言模型（PaliGemma）读入多路相机图像、语言指令和机器人本体状态，旁边接一个约 3 亿参数的动作专家，用 flow matching 生成一整个动作块（未来 50 步的连续动作）。推理时从高斯噪声出发积分 10 步（步长 0.1）；观测部分的注意力键值只算一次并缓存，10 步里只重复运行较小的动作专家。这样它能以高达 50 Hz 的频率控制双臂等机器人完成叠衣服这类灵巧任务。与 17.5 节的离散动作 token 相比，这条路线直接输出连续动作，不需要动作 tokenizer。

下图是一个能在浏览器里训练的缩小版。一个点机器人以恒定速度从左向右开，经过一个圆形障碍物（半径 0.55），观测 \(\hl{obs}{\mathbf o=(y_s,y_o)}\) 是起点高度和障碍物高度，动作块是未来 \(H=8\) 步的横向位置（相对起点）。示教数据里，人从障碍物上方绕过的概率是 \(\sigma(-6y_o)\)：障碍物越靠上，越多人从下方走。速度网络 \(\mathbf v_\theta(\mathbf a_t,t,\mathbf o)\) 是 \([13,64,64,8]\) 的 GELU MLP（8 维动作 + 2 维观测 + 3 个时间特征），共 5576 个参数；作为对照，一个 \([2,64,64,8]\) 的网络直接用均方误差回归动作块，也就是普通的行为克隆（22.1 节）。两者同时训练，Adam，每步 64 条示教。

19.6 节的 FIG 6 已经在一个固定的避障场景里，用精确的 score 对整段动作去噪，展示了每段动作都完整地选定一边、两边的频率与示教一致。这里不再重复那一点，而是看三样新东西：速度场是网络现场学出来的；它以观测为条件，障碍物一动，两种走法的比例就跟着变；积分步数可以一直减到 1，这时 flow matching 退化成均方误差回归。