首页 / 资讯详情
给黑盒导航机器人「使绊子」：AdvNav 如何揭示具身智能系统潜在安全风险 | GAIR Paper 117
摘要
AdvNav 首次在黑盒条件下，对导航智能体完成系统性安全验证。 作者丨李晨阳 编辑丨陈淑瑜 近两年，能自己走路、自己带路的机器人正从实验室走向真实场景：医院的配送机器人按医嘱送药，仓库里的搬运机器人找货架，家里的扫拖机器人按指令去某个房间。它们靠的不是提前存好的地图，而是“看懂画面 + 听懂指令 + 自己决定下一步往哪走”——这正是视觉语言导航（VLN）要解决的问题。这类系统藏着一个少被提起的前提：它完全相信自己的“眼睛”。摄像头拍到什么，它就当成事实去决策。▎于是真正的痛点浮现了：视觉是它最脆弱的入口。 机器人的所有判断都建立在像素之上，可真实世界的光照变化、物体遮挡、甚至镜头上一点污渍，都可能让“同一段路”在它眼里变得不一样。越聪明，越怕“看不见的偏差”。 大模型加持的导航机器人推理更强，却也更依赖视觉输入；一旦输入被轻微扰动，小错会一步步放大成“走错整个楼层”。更难的是“验伤”。 真实部署的机器人是封闭产品，你拿不到它的内部参数和梯度，传统那种“拆开看脑子”的评测方式根本用不上——而我们恰恰最该知道：它在受干扰时到底有多不靠谱？过去的研究大多盯着“怎么让机器人在干净环境里走得更准”，却很少有人问“它在被扰动时会不会崩”。 这正是这篇论文要补的缺口：香港科技大学（广州）陈昶昊教授团队提出的 AdvNav，在不打开机器人、不依赖任何内部信息的前提下，仅靠观察它的行走行为，就系统性地证明了：当前视觉语言导航系统普遍存在一个看不见的视觉软肋。 他们提出了 AdvNav——首个面向视觉语言导航任务的黑盒行为引导对抗攻击框架。相关成果已被 ACM Multimedia 2026（ACM MM 2026）录用。AdvNav无需访问模型参数或梯度，仅通过观察智能体的导航行为即可不断优化攻击扰动。框架设计了基于智能体行为的双粒度反馈机制，综合利用轨迹级性能、动作级奖励以及轨迹偏离信息，引导攻击过程持续寻找更具破坏性的扰动。同时，结合扰动强度自适应调整和遗传算法优化噪声结构，在有限查询预算下即可获得高效攻击效果。在经典R2R数据集上，AdvNav针对Transformer架构的HAMT模型以及基于大语言模型的MapGPT模型，分别取得了49.70%、65.96%和87.30%的攻击成功率，充分揭示了当前视觉语言导航系统普遍存在的潜在视觉脆弱性。论文标题：AdvNav: Behavior-Guided Black-Box Adversarial Attacks on Vision-Language Navigation论文地址：https://arxiv.org/abs/2607.1106301针对视觉与语言导航任务的黑盒对抗攻击难点在哪？传统图像分类中的黑盒攻击通常只需面对一次预测：输入一张图像，模型立即给出分类结果，攻击者便可以根据输出不断调整扰动。而视觉语言导航则完全不同。首先，智能体需要同时理解视觉信息与语言指令，并结合历史导航过程进行连续决策，属于典型的多模态时序任务。其次，导航具有明显的长期依赖特性。某一步的错误决策未必意味着任务失败，智能体往往能够依靠后续推理重新回到正确轨迹，自我修正能力使攻击难度大幅增加。此外，导航任务的最终反馈具有明显的延迟性。攻击者通常只有在整个导航结束后，才能知道此次攻击是否真正导致任务失败。这种稀疏且滞后的