机器人学习:方法与经典工作
四章、10 节,把 Part V 的工具真正用到机器人上:模仿学习与数据讲怎样从示教里学策略,从行为克隆和 DAgger 走到 ACT 与 Diffusion Policy,再回到示教数据本身从哪里来;机器人强化学习讲怎样在仿真里大规模训练、再跨过现实差距搬上真机;Model-based 方法讲怎样先学一个动力学模型,再在模型里规划或训练策略,从 PILCO、PETS 走到 Dreamer、TD-MPC 和学习型 MPC;经典工作用一条可交互的时间线,把这些方法放回它们出现的年代。每一节都有在浏览器里现场运行的实验,大多是现场训练的策略和模型。
1四章之间的关系
Part VI 主要建立在 Part V 之上。模仿学习(22 章)用到生成模型(19 章)的 VAE、扩散与 flow matching 和架构(17 章)的 Transformer,遥操作一节还用到 Part I–II 的雅可比、SE(3) 与逆运动学;机器人强化学习(23 章)建立在 PPO/SAC(20 章)和不确定性(21 章)之上,教师–学生蒸馏还借用了 22.1 节的 DAgger;Model-based 方法(24 章)与前两章互不依赖,它用到 RNN、VAE、PPO/SAC 与不确定性,以及 Part I 的采样优化和 Part IV 的状态空间与 MPC。第 25 章的时间线回顾的是整个 Part V 与 Part VI,图里只画出它到第 22–24 章的边。把鼠标放在(或点击)任意一个方块上:琥珀色是它依赖的部分,紫色是用到它的部分;虚线框是前面的章节或后续部分,本部分各章之间的依赖画成右侧的弧线。每一节具体依赖哪几节,见第 3 部分。
2各章一览
★ 标记的是核心节,点击标题即可进入(灰色的是尚未上线的节)。每章都会写出它的"一句话直觉"和在机器人中的主要用途。
3逐节内容与前置
每节一句话说明它讲什么,下面列出该节自己标注的前置节。青色边框的是本部分内的前置节,其余来自 Part I–V;点击即可跳转。
4按目标选路线
时间有限的话,可以按你的方向挑一条路线先走通,再回头补全。路线里跳过的节,遇到时看第 3 部分列出的前置即可。