首页 / 资讯详情
具身的数据管线，到底应该怎么做？
摘要
数据规模不断扩大，有效性却没有跟上。 作者丨向 欣 编辑丨高景辉 雷峰网：一家具身数据厂商告诉我们，他们向模型厂商交付了几万小时数据之后，对方反过来问了一句：能不能顺便帮忙把模型也训练出来，好让他们“交个差”，原因是模型厂商自己心里也没底，不知道这批数据喂进去能训出什么结果。这种焦虑与无力，是当下不少模型厂商的真实状态，他们面临的真实困境是：虽然在不断花钱采集、购买数据，数据规模不断扩大，但数据的有效性却没有跟上。钱花出去了，效果却像打了水漂。年初，不少具身公司声称今年要采集百万级别的数据。大半年过去，确实有公司宣称已经积累了百万数据，但模型能力上似乎没有看到对应的提升，反而被 GPT 的 Astra 抢了风头。问题不仅在于数量，还在于数据管线。数据被大量采集回来，但从采集到进训练之间那段加工链路存在大量问题：筛选没有细粒度标准，数据难以跨本体迁移，数据质量至今没有公认的评测机制。具身的数据多了，可用数据却不一定多。具身数据管线该怎么做？为此，我们与机器人基础模型公司行元智能创始人兼CEO杨世琦聊了聊，试着拆解这条数据链路上的关键难题，以及如何让规模不断增长的数据真正转化为模型能力。今天，我们就把这条管线拆开聊透。01数据量在涨，但「可用数据」没跟着涨一条原始数据要变成机器人可以学习的数据，通常要经过五个环节：首先是数据筛选，剔除画面模糊、动作中断、轨迹异常等低质量样本；其次是数据标注，给操作过程补充任务、物体状态、动作阶段和语言指令等信息，让模型能够理解数据中发生了什么；第三是动作转换，将人类示范或一种机器人产生的动作，映射到目标机器人能够执行的动作空间；第四是数据验证，通过规则检查、仿真测试或真机实验，判断数据是否合理、能否执行；最后是反馈迭代，结合模型训练和实际部署的表现，调整数据筛选、标注和转换策略。这条链路的绝大部分环节都已可以自动化，但在实际操作中存在不少难题。首先，数据缺少统一、细粒度的筛选与评价标准。从大语言模型的经验来看，如果训练中混入一批dirty 数据，带来的降智大概率是永久性的，会在整个模型生命周期中持续产生影响。但目前业内仍然没有一个可规模化的数据筛选机制。一段视频画面清晰、动作完整，不代表它对模型训练有用；一条转换后的轨迹符合运动学约束，也不意味着机器人能够在真实环境中顺利完成任务。数据供应商和模型公司对“高质量”的理解存在差异，如何衡量一份数据的实际训练价值，仍然是个难题。其次，从人类动作到机器人动作的转换存在明显门槛，也就是做动作重定向难。不同机器人的关节结构、工作空间和末端执行器各不相同，同一项任务可能需要不同的操作策略。尤其在人类第一视角视频中，往往缺少机器人关节状态、力觉等信息，系统需要从有限的视觉观测中恢复空间关系，再生成适配目标机器人的动作。对于结构相近的机械臂，可以通过逆运动学等方法求解；但如果末端执行器差异很大，问题就会复杂得多。人类用五指手抓住一个物体时，可以调整多个手指的位置和施力方式；夹爪执行同样的任务，采用却是完全不同的接近角度和抓取策略。两者难以使用同一套动作轨迹。除了数据管线本身的技术难题，行业也存在不少乱象。一是数据处理分工混乱，数据采集、数据处理和模型训练往往由不同团队承担，各方的交付标准和评价指标未必一致。二是许多公司依赖开源管线。不少团队使用开源工具拼接处理流程，却