首页 / 资讯详情
李飞飞、吴佳俊再联手，打破世界模型和机器人动作的「巴别塔」
摘要
视觉轨迹充当“同声传译”，让世界模型和机器人动作真正“同频对话”。 作者丨幸丽娟 编辑丨岑 峰 日前，一篇叫做《TrAct: Bridging Robot Control and Visual Prediction with Visual Tracks》的论文悄然上线 arXiv。论文署名中出现了两个大家很熟悉的名字——李飞飞、吴佳俊。论文链接：https://arxiv.org/html/2608.24101v1熟悉具身智能圈的人都知道，这两个名字放在一起，分量不轻。李飞飞是世界模型“空间智能”方向的旗帜人物，而刚刚领完 IJCAI 2026 计算机与思想奖的吴佳俊，则是这一领域最核心的研究者之一。这两位长期合作的学术战友，最近在具身智能领域动作频频。就在一个月前，他们刚与 ControlNet 作者张吕敏等十余位学者共同发表了《Masked Visual Actions for Unified World Modeling》，把机器人动作渲染成像素轨迹，喂给视频世界模型。但对于他们而言，之前的尝试或许还不够彻底。世界模型能看懂机器人动作了，但机器人动作那一侧的问题还卡着：动作怎么实时变成轨迹？世界模型预演完，怎么反过来帮机器人挑动作？这条往返的路，还没有打通。这一次，他们直指这个问题的核心：机器人的“动作控制”和世界模型的“预测画面”，说的根本不是同一种语言。TrAct 的解法，就是在中间配一位“同声传译”。01 世界模型的“巴别塔”：动作和像素，鸡同鸭讲先解释一下背景。现在具身智能行业正在形成一种共识：光靠 VLA“条件反射”式地输出动作不够，得让机器人学会“先在脑子里过一遍”——多个候选动作，交给世界模型预演未来，再挑结果最好的执行。π0.5、GR00T 这些头部 VLA 模型，在标准基准上已经刷到接近满分。但在真实世界的泛化中，它们依然频频翻车。因此，世界模型的“预演”能力，被普遍认为是具身智能的下一个关键拼图。但问题是，“预演”这出戏，主演对不上台词。机器人控制器输出的是一串低维的“动作方言”：可能是末端位姿，可能是关节角，可能是夹爪开合，也可能三者组合——十几或二十个低维数字。世界模型需要输出的是高维的“像素画面”：夹爪在画面中的像素坐标、轮廓形状、与物体的距离；面条在每一帧中如何弯曲、滑动、与碗壁碰撞。每一帧可能是 224×224×3 ≈ 15 万像素，16 帧就是 240 万像素。问题来了：20 个数字怎么推导出 240 万个像素？从“末端位姿变化 0.02 米”到“夹爪在画面中向右移动了 50 个像素”，中间隔着一整条物理因果链——关节转动、末端接触、物体滑动、相机成像。把前者直接喂给后者，等于给导演看剧本大纲里的 20 个关键词，让他脑补出两个小时的电影。世界模型就是在硬着头皮干这个"脑补"的活儿。 论文将这种方案称为 AWM（Action-conditioned World Model，动作条件世界模型） ——给定动作指令，直接预测未来画面。不意外的是，这套"硬猜硬译"的方案，翻车姿势非常典型：夹爪姿态预测错了；背景和目标物体在预测画面里凭空消失；两个相机视角对同一物体的位置判断互相打架。更要命的是，每一种机器人的“动作方言”都不一样。 Franka 说 Frank