发布于 2026-11-13 · VWU.AI

韩国 Physical AI 新进展:机器人视频数据如何形成可追溯闭环

从韩国 Physical AI 的近期公开进展出发,说明机器人视频数据如何记录失败、补充真实锚点、组织版本对照,并防止用合成数据循环自证。

VWU.AI 车内视觉数据场景示意

机器人数据闭环的关键,是让新增数据回答一个可验证的问题:它针对哪类失败,保留了什么证据,又在怎样的独立测试中被检验。把采集、生成和训练串成流程,只能证明数据在流动;模型是否改善,还需要对照证据。

2026年11月8日,NVIDIA 关于韩国 Physical AI 进展的官方报道介绍了 LG CLOiD 在实际制造环境中的机器人演示,并描述了真实采集、Cosmos 数据扩增、GR00T 训练、Jetson 计算及仿真评测相连的工作流。这是厂商公开叙述,不能据此推定通用任务能力或其他项目的效果。

NVIDIA 关于韩国 Physical AI 进展的官方报道

阅读要点

一、从演示工作流到项目验收,还差一份问题定义

上述进展说明,真实采集与仿真、训练之间可以组织成连续工作流。本文的进一步分析是:对采购方和算法团队而言,首先要明确每次数据回流的触发条件,而不是先讨论要生成多少段视频。

“机器人没有完成抓取”仍然太宽。物体未被检测、接触位置不合适、物体滑落、放置区域被遮挡,可能需要不同的数据。若问题定义不清,新增片段即使视觉丰富,也未必能检验原来的失败。

建议把一次回流限定为一个可解释的问题。例如,针对“抓取后移动阶段出现物体滑落”,保留原视频、动作日志和物体状态证据,先确认失败发生在哪个阶段。无法从现有记录判断原因时,应记录“原因未明”,而不是为了进入下一轮训练,先给出一个看似完整的原因标签。

二、用失败回流单连接视频、任务与修改决定

失败回流单的作用,是让采集人员知道要补什么,让标注人员知道如何判断,也让评测人员能够复查修改是否有效。它应指向具体事件,而不是只有一句工单描述。

任务与起始条件:建议保留的证据:指令版本、物体类别、初始位置及环境条件;用于决定什么:新样本是否仍属于同一个问题。

失败发生阶段:建议保留的证据:视频时间段、动作阶段、设备日志;用于决定什么:补采范围与标签边界。

可观察结果:建议保留的证据:物体移动、滑落、未接触或无法判断;用于决定什么:避免把指令执行等同任务成功。

数据修改:建议保留的证据:补拍、重标、扩增的理由及版本;用于决定什么:哪项变化进入了训练。

验证安排:建议保留的证据:保留测试集、比较对象与判定规则;用于决定什么:新版本能否支持改进结论。

涉及多人标注时,先让标注人员独立判断同一批短片段,再讨论分歧。任务起止可以参考行为时间边界的定义方法,但具体判据必须根据机器人任务重新制定,不能照搬车内动作类别。

行为时间边界的定义方法

如果视频看不到接触点,也没有其他可靠传感记录,就应允许“接触状态不可判定”。完整数据表不等于完整证据,保留不确定性有助于避免后续模型学到虚假的确定标签。

三、分开标注“想做什么”和“实际发生什么”

任务指令描述目标,动作标签描述执行过程,结果标签描述最终状态。这三者应关联,却不应互相替代。例如,收到“把盒子放进料框”的指令,不能直接标成“盒子已入框”;机械臂完成一段轨迹,也不等于物体随它完成了移动。

建议把视频拆成有观察依据的阶段,如接近、接触、抬起、移动、放下。阶段之间可以存在中断、重复与回退,不能强行要求每个片段都走完同一顺序。结果则根据事先定义的可观察条件单独判断。

还应保留负向事件:没有接触、短暂接触后脱离、目标物体被其他物体挡住、动作结束但结果不可见。这些样本能帮助团队区分“没有发生”与“没有看见”。是否纳入训练、如何加权,应由任务目标和独立评测决定,不能只为了使类别数量对称而补齐。

多机位采集能够提供不同角度的证据,但需要先确保观测可对应。可以使用多摄像头同步检查建立基础记录,再补上机器人动作日志与视频时间的对应关系。未经验证的日志对齐,可能把前一次动作的结果归给下一次动作。

多摄像头同步检查

四、一个假设案例:料盒移动后滑落,怎样启动一轮回流

以下案例是编辑自拟,用于说明方法,不是 LG 或报道中的实验。某机器人能够抬起料盒,但在移动途中偶发滑落。项目组提出增加不同颜色料盒的视频,希望提高模型表现。

先暂停这个扩增决定,回看原事件。若视频显示滑落只出现在料盒倾斜时,颜色变化并没有直接对应失败条件。团队应先记录倾斜状态、可见接触、遮挡和动作阶段;若相机拍不到关键接触点,就补充视角或其他可核查记录,而不是推断抓取力不足。

接着建立补采计划:保留原有条件作为真实锚点,在安全且受控的测试环境中改变与问题相关的条件。每一项变化单独记录,避免同时换物体、改光照和改轨迹,导致结果无法归因。需要用仿真或生成数据扩展时,写清它希望覆盖哪种变化,以及真实样本能支持到什么范围。

最后保留一组未参与补采选择、生成条件调整和模型训练的真实测试事件。比较新旧版本时固定其他主要设置,同时查看目标失败、正常任务和新出现的错误。若只是训练集表现提高,或者仅在相同生成流程的样本上提高,还不足以得出真实任务改善的结论。

五、让数据版本与对照实验一一对应

一轮实验至少应能回答:旧模型用了哪个数据版本,新模型新增或修改了哪些样本,训练设置是否改变,测试事件有没有被间接用于挑选方案。若这些记录缺失,即使结果看起来更好,也难以把变化归因于本轮数据。

建议先设计最小对照,再逐步扩展。例如固定基础数据与训练配置,仅加入本次回流包;另一组只加入对应真实补采样本,用来区分真实锚点和合成扩展各自提供的证据。这是实验设计建议,不预设哪组一定更优,也不规定适用于所有任务的样本比例。

关联场景、相邻时间段、相同物体和同一次采集运行,应作为划分时的重要分组依据。可参考训练与测试泄漏审计检查关联关系。划分完成后,还要限制测试集的反复调参用途;如果长期把测试失败逐个送回训练,就需要建立新的独立保留集。

训练与测试泄漏审计

六、避免把数据闭环变成循环自证

生成器提供样本,训练模型学习这些样本,再由相近的模型或相同规则判断结果,这种流程容易缺少独立检验。它可以用来筛查候选数据,却不能单独证明真实世界能力。应保留人工可复查的事件证据,并让独立真实测试承担最终任务验证。

回流结果也不必总是“增加数据”。一次核查可能发现标签定义含糊、相机位置不合适、动作日志缺失,或问题需要控制与硬件团队处理。允许这些结论进入回流记录,才能避免所有问题都被转换成更多视频。

对正在建设机器人视频数据流程的团队,下一步可以从一类失败开始:选定原事件,完成一张回流单,建立一个有来源的补采包,再做一次可复现的版本对照。闭环是否成立,取决于这条证据链能否被另一位工程师重新走通。