首页 / 资讯详情
复旦贾萧松：VLA、WAM新架构层出不穷，但真正的瓶颈不在模型架构 | 世界模型50人
摘要
严骏驰一通电话，贾萧松五年几次转向。作者：李秋悦编辑：吴彤2021年年底，贾萧松直博上海交通大学没多久，在宿舍里接到一个电话。电话是贾萧松的博导严骏驰打来的，问他接下来读博想研究什么？贾萧松的回答是继续做自动驾驶轨迹预测。两年前，贾萧松在交大致远学院读大三，参加了加州大学伯克利分校的一个暑研项目，在控制理论学者富塚城义（Masayoshi Tomizuka）团队做研究，从车辆交互与轨迹预测入门自动驾驶领域。贾萧松想继续做老本行的打算，本无可厚非。2019年，贾萧松到UC Berkeley访学但严骏驰建议贾萧松换一条路，理由是预测夹在感知与决策之间，上下游都受限制，不如做端到端。彼时的贾萧松也意识到了轨迹预测研究的尴尬之处，能改进的空间很有限，更多的是小修小补。于是，他在严骏驰和上海人工智能实验室OpenDriveLab创始人李弘扬的指导下，开始研究端到端自动驾驶。三年后，贾萧松和合作者们研究的Think2Drive在ECCV上一经发表，就引人瞩目。当时，强化学习在复杂驾驶环境中往往需要极其昂贵的交互成本。Think2Drive让模型在低维潜在空间里模拟交互，大幅降低了策略训练成本。他们在一张NVIDIA A6000 GPU上，用三天左右的时间，就训练出能够完成CARLA Leaderboard 2.0复杂驾驶任务的策略。此后，贾萧松又转向闭环评测、交互式生成仿真领域。从传统模块化到端到端，从模仿学习到强化学习，再到世界模型，贾萧松的研究经历恰好穿过了自动驾驶过去几年几次重要的技术路线变化。这些研究并非由他一个人推动，也不是整个行业在同一时间完成的线性转向。但他的亲历提供了一个观察技术演进的视角：每一次转向发生时，旧方法究竟遇到了什么问题，又为什么需要下一种解法？如今，贾萧松在复旦大学可信具身智能研究院担任助理教授，研究灵巧手与Ego数据。而自动驾驶过去几年遇到的问题，正在具身智能领域以不同形式重新出现。以下是雷峰网左林右狸频道与贾萧松的对话，在不改变原意的基础上有所编辑：01 端到端最重要的价值是直接优化最终目标左林右狸频道：怎么理解当时严骏驰老师关于“研究轨迹预测会受到上下游限制”的判断？贾萧松：当时研究轨迹预测，通常是给定过去几帧车辆和行人的坐标，预测它们未来的位置。但问题在于，很多与预测有关的信息，可能在上游就已经丢失了。比如，一个行人招了招手，表示他准备过马路；或者前车踩下刹车，刹车灯亮起，意味着它可能减速。如果上游没有提供这些信息，我作为研究轨迹预测的人，就无法利用它们来判断未来的运动轨迹。下游同样存在问题。我可能预测出每辆车未来六种可能的轨迹，但到了决策模块，最终可能只使用其中一种，因为下游也不知道该如何利用这么多种预测结果。所以，轨迹预测既受到上游信息的限制，研究成果也不一定能被下游充分利用。即使把这个模块做得再好，也未必能改善整个系统的表现。左林右狸频道：2021年，端到端还不是行业普遍采用的方案。严骏驰和李弘扬为什么看好这条路线？你不担心做不出来吗？贾萧松：严老师研究决策很多年，此前在IBM也有丰富的产业研究经验。当时他已经在研究预测决策一体化，而且取得了不错的效果，所以就进一步想把感知也加进来，让整个自动驾驶系统统一起来。李弘扬老师长期研究计算机视觉，也有自动驾驶方面的积累，从产业界角度思考出了端到端的必要性。两位老师都观察到，深度学习在视觉等领域的发展，本身就是一个越来越端到端的过程。所以他们觉得，既然神经网络已经表现出这么强的能力，自动驾驶也值得沿着这个方向探索。我自己当时确实没有太多顾虑。一方面，我对自动驾驶的理解还没有