斯坦福大学 AA203 最优与基于学习的控制课程（2026 春季学期）第 15 讲：模仿学习

（原标题：Stanford AA203 Optimal and Learning-Based Control | Spring 2026 | Lecture 15: Imitation Learning）

🎯 模仿学习核心机制与挑战

• 分类体系：模仿学习主要涵盖行为克隆（Behavior Cloning）与逆强化学习（Inverse Reinforcement Learning）。前者通过监督学习近似专家策略分布，实施简单且无需显式奖励信号；后者旨在从演示中估计专家优化的奖励函数，核心难点在于解决“奖励歧义性”，即多种奖励函数可能解释同一组数据。
• 复合误差陷阱：行为克隆面临协变量偏移（Covariate Shift）问题。由于策略影响未来状态，学习者诱导的状态分布 $P_{\pi_\theta}(x)$ 与专家分布 $P_{expert}(x)$ 发生偏移。理论表明，在离散动作空间中，错误概率随轨迹长度 $t$ 呈二次方增长（$\epsilon t^2$），导致模型在未见过的状态中失效。
• 多模态困境：使用均方误差（MSE）拟合多模态控制分布时，模型倾向于预测分布均值。例如在无人机绕树飞行场景中，均值回归会导致策略落入无效区域（如撞向树木），无法捕捉专家行为的多样性。
• 数据价值悖论：包含错误及恢复过程的广泛轨迹集比狭窄的完美演示集更具学习价值。部署时的策略必然会产生误差，因此模型需具备从错误状态中纠正的能力，而非仅依赖完美路径的复现。

📊 算法优化与数据增强策略

• DAgger 算法机制：作为一种迭代式数据聚合方法，DAgger 直接针对学习者分布下的失败模式进行纠正。流程包括让学习者策略与环境交互、在访问状态处查询专家进行重标注、聚合新数据并重新训练。该过程具有数据高效性，有效缓解了复合误差。
• 变体应用：基于置信度的查询仅在模型不确定时询问专家；Human-Gated DAgger 允许人类在检测到错误时介入接管，从而探索错误后的不同轨迹分支，丰富了状态空间的覆盖范围。
• 视角切换增强：NVIDIA 早期工作利用三摄像头（左、中、右）视角切换，将侧视图像作为前视输入并调整转向角标签，以低成本生成纠正驾驶错误的训练样本。苏黎世大学团队在四旋翼无人机导航中采用类似头戴多相机方案，通过视角偏移标注离散动作，实现数据增强。
• 历史观测引入：单帧图像无法捕捉速度等动态信息。引入过去观测序列（如 Transformer 或 RNN）作为上下文，可区分相同视觉状态下的不同行为意图，解决部分可观测问题，提升策略在未见场景下的泛化能力。

💡 动作空间参数化与模型架构

• 动作分块优势：当前主流方法通过预测长度为 $k$ 的未来动作序列（Action Chunking）而非单一动作，显著提升了推理效率与控制平滑度。预计算 $k$ 步动作允许模型在短期内信任预测，减少重算频率；序列内生成更具连贯性，消除了单次调用引入的随机性。
• 分布参数化对比：离散输出天然支持多模态但随维度指数级膨胀；高斯混合模型（GMM）通过 $K$ 个分量拟合复杂分布，但 $K$ 为需经验调优的超参数；自回归分解将联合分布拆解为一维条件概率乘积，缓解维度灾难。
• 生成式建模应用：扩散模型通过学习去噪过程从噪声映射至目标分布；流匹配（Flow Matching）则学习向量场，通过欧拉积分将简单高斯分布样本传输至复杂数据分布，适用于连续控制动作生成。这些方法在保持连续性的同时提供了强大的多模态分布表达能力。
• 典型应用案例：Diffusion Policy 利用扩散模型从图像观测生成完整机器人手臂轨迹，展示了跨条件泛化能力；Robotics Transformer 将历史图像与语言描述映射为离散动作表示，采用自回归方式逐维度生成动作。

🚀 超越基础克隆的高级策略

• 过滤与加权机制：引入奖励函数对轨迹进行评分，仅保留或高权重处理表现优于特定阈值的轨迹。此方法适用于任务狭窄或数据质量参差不齐的场景，通过剔除低质量演示提升模型鲁棒性。
• 条件化策略设计：将策略条件于目标状态（Goal-conditioned）或候选总奖励（Reward-conditioned），使所有演示轨迹均成为有效学习样本。推理时再查询最优目标，从而扩展了策略的适用范围并增强了灵活性。
• 逆强化学习机制：算法通常交替更新奖励参数 $w$ 和策略参数 $\theta$。主流方法包括学徒学习（Apprenticeship Learning）、最大间隔规划（Maximum Margin Planning）及最大熵 RL（Max Entropy RL），旨在从数据中推导优化目标，适用于需要理解专家意图的场景。
• 工程实践参考：NVIDIA 2016 年的自动驾驶研究证实，通过持续收集人类驾驶图像与转向角度的配对数据，可显著提升神经网络控制器的稳定性与性能。在端到端学习中，利用经典方法或专家策略生成高质量标签（蒸馏），有助于解决在线实时性与数据可靠性之间的平衡问题。

📌 结论与实践建议

• 能力上限突破：在机器人控制中，单纯模仿专家行为无法超越其能力上限。需结合环境交互或特定算法（如 DAgger）获取纠正数据，以应对复合误差和行为多模态性挑战。
• 方法选择依据：行为克隆适合奖励定义困难的任务（如驾驶），但受限于演示数据的覆盖范围；逆强化学习则提供了从数据中推导优化目标的替代路径。针对多模态策略输出，离散化、GMM、自回归 Transformer 及流匹配模型各有优劣，需根据具体任务需求选择。
• 超参数调优：实际应用中，历史窗口长度、混合分量数 $K$ 等超参数通常需通过消融实验确定，以平衡过拟合与欠拟合风险。高表达力的序列模型与概率分布输出的结合，是提升策略鲁棒性的关键方向。