首页 / 资讯详情
宾大茅佳源：从单次演示到 83% 真机泛化，破解具身智能数据困局｜IROS 2026
摘要
剖析视觉与动作脱节，引入 TR 指标与自适应引导，重构具身泛化机制。 作者丨张璐 编辑丨岑峰 在机械臂的实机测试中，不少团队都遇到过类似的困扰：为了让机器人学会抓取某个马克杯，往往需要人类抓着机械臂录入上百条示范轨迹。然而只要把杯子换成未见过的款式，或者稍微改变物体的摆放位置，策略的成功率就会急剧下降。这种靠海量遥操作数据硬堆技能的方式，很难让机器人真正具备应对新环境的泛化能力。更棘手的是，即便当前的视频预测模型已经能准确画出合理的未来画面，但一旦接入动作模块驱动实机，机械臂依然频频出错。在 IROS 2026 大会上，来自 UPenn、MIT 与 Stanford 联合团队的茅佳源分享了他们的思考。她不仅介绍了只需一次人类演示就能泛化执行多种非抓取任务的 RAPID 闭环框架，还首次提出了诊断“视觉会了、手却做不对”这一机制脱节的 TR 指标。借由基于 TR 的自适应引导机制，团队最终将双臂机器人在复杂组合任务上的真机泛化成功率提升到了 83%。以下是茅佳源的演讲分享，AI科技评论在不改变原意的情况下，进行了编辑和整理：01百条轨迹换一项技能，纯数据拟合为何难做物理泛化？过去几年，构建通用物理智能的主流思路是“数据拟合”，试图通过端到端学习，实现从视觉观察到控制动作的直接映射。这一路径虽推动了大量研究，但在面对真实复杂的物理交互时，瓶颈迅速显现。以 Actor Labs 的挖掘机实验为例，其团队将 Physical Intelligence 的 π0.5部署至挖掘机，结合工业操作员的大规模真实数据训练策略。尽管展示中仅用200 条轨迹成功完成了一项任务，但这恰恰暴露出纯数据驱动路线的缺点：数据效率极低，且多任务能力受限。如果掌握每一项单一技能都需要百小时级或数百条轨迹的数据积累，这种依靠堆叠数据推动的范式，其规模化扩展的可行性显然存疑。相比之下，人类仅凭单次演示就能理解动作背后的物理逻辑，并轻松迁移至不同尺寸、材质的物体甚至全新任务中。当端到端模型在分布外（OOD）场景中频频失灵，研究者们不得不重新审视：在盲目堆砌数据量之外，是否存在更根本的智能构建路径？这便引出了第二条路线：将智能视为世界建模与规划（Intelligence as World Modeling and Planning）。其核心在于将机器学习与物理规划相结合，使智能体通过小样本理解物理规律，进而实现真正的分布外泛化。02告别像素级预测，用“神经+符号”构建可推理的世界模型要实现基于规划的智能，首先需构建“世界模型”，即让智能体在内部建立物理世界表征，并基于该表征演推后续动作。然而，物理环境极其复杂，若直接在像素级预测未来状态与细节，计算代价会非常高，难以支持长序列动作的实时规划。破解这一难题的关键在于引入组合式抽象表示。智能体无需记忆所有像素细节，而是提炼形状、姿态、材质等抽象属性，并用状态转移图显式建立“动作-状态”演变机制。图：神经符号概念将物体抽象为形状、姿态、材质等属性，并用状态转移图描述动作导致的 state 演变。图中 s0→s1 表示 push(glass)，s1→s3 表示 flip(cap)。这就是神经符号概念的核心：“神经”层：利用神经网络进行视觉感知，提取物体的几何与物理属性；“符号”层：利用符号逻辑对这些属性进行组合，并定义动作与状态之