PART V

机器学习基础

六章、29 节,备齐现代机器人学习要用的整套工具:从数据中学习与网络架构讲怎样拟合、怎样求梯度、该搭什么样的网络,从逻辑回归走到 Transformer 和动作 token;自监督学习讲没有标签时怎样学到好的表示;生成模型讲怎样学会整个分布,从 VAE 一路走到扩散与 flow matching,也就是 Diffusion Policy 和 π0 的引擎;强化学习讲怎样从奖励里学策略,从 Bellman 方程走到 PPO、SAC 与离线 RL;专题讲微调、scaling law、不确定性与多任务。每一节都有在浏览器里现场运行的实验,大多是现场训练的小网络,例子都来自机器人。

6 章 · 29 节 前置:Part I(线性代数、微积分、概率与信息论、优化与动态规划)

1六章之间的关系

第 16 章是其他各章的地基:损失、泛化和反向传播在后面几章里反复用到。架构(17 章)喂给自监督(18 章)和生成模型(19 章);强化学习(20 章)主要建立在 Part I 的概率与动态规划之上,逆强化学习一节还借用了 GAN 的判别器。来自前面的部分主要是 Part I 的线性代数、微积分、概率与优化,另有 Part II 的构型空间和 Part IV 的状态空间模型。把鼠标放在(或点击)任意一个方块上:琥珀色是它依赖的部分,紫色是用到它的部分;虚线框是前面的章节或后续部分,本部分各章之间的依赖画成右侧的弧线。每一节具体依赖哪几节,见第 3 部分。

MAPPart V 依赖图
■ 依赖(先学)■ 被用于(后学)

2各章一览

★ 标记的是核心节,点击标题即可进入(灰色的是尚未上线的节)。每章都会写出它的"一句话直觉"和在机器人中的主要用途。

3逐节内容与前置

每节一句话说明它讲什么,下面列出该节自己标注的前置节。青色边框的是本部分内的前置节,其余来自 Part I–IV;点击即可跳转。

4按目标选路线

时间有限的话,可以按你的方向挑一条路线先走通,再回头补全。路线里跳过的节,遇到时看第 3 部分列出的前置即可。