发布于 2026-11-11 · VWU.AI

Waymo 冬季准备带来的启发:视觉数据集如何写清适用边界

以 Waymo 近期冬季天气准备说明为切入,分析视觉数据集如何定义适用、受限和不可判定条件,附车内监控边界表、假设样例与真实测试切片验收方法。

VWU.AI 车内视觉数据场景示意

2026年11月5日,Waymo 发布冬季严寒天气准备说明,介绍不同天气条件下的测试、仿真与服务限制。官方描述包括在超出验证范围时调整或暂停服务,以及将黑冰、白化天气等仿真与现实验证结合。它讨论的是外部道路自动驾驶,不是车内驾驶员监控。

冬季严寒天气准备说明

对视觉数据团队,这则消息值得借鉴的是“把适用条件写明”的工程思路。以下建议用于组织数据与验收,不是 Waymo 公布的内部方法,也不构成对任何驾驶系统的安全认证。

核心建议

一、场景名称不能代替适用条件

“覆盖冬季”通常不是可验收的描述。低温、积雪、反光和视野受阻可能出现在不同位置,也可能影响不同传感器。若只给视频打一个冬季标签,使用者很难知道模型到底见过什么。

车内监控也存在类似问题。冬衣未必遮挡人脸,帽檐却可能遮住关键眼部区域;镜片反射可能干扰部分观察,但不意味着所有头部信息都不可用。这里是在分析数据设计,不能由外部天气直接推断车内识别性能。讨论具体任务时,应先结合驾驶员监控数据的任务范围明确模型究竟判断眼睛状态、头部朝向,还是某类行为。

驾驶员监控数据的任务范围

建议将场景拆成三层:环境条件描述发生了什么,观察条件描述视频能看到什么,任务边界说明当前证据允许得出什么判断。层次分开后,标注者就不必把“看不清眼睛”强行翻译成“闭眼”。

二、把“不可判定”写成一种可执行规则

不可判定标签需要有明确触发条件和作用范围。它不能成为标注困难时随手使用的垃圾桶,也不能因为希望提高有效样本比例就被取消。

例如,眼部状态任务需要检查眼部区域是否可观察;头部朝向任务则可能仍有足够轮廓依据。同一时间段可以对一个任务有效、对另一个任务不可判定。若所有标签共用一个“有效”字段,下游团队容易把部分信息缺失误解为全部信息可靠。

环境条件:假设观察:车外有积雪;建议标签或记录方式:记录季节和外部环境信息;不能直接推出的结论:车内摄像头一定失效。

画面质量:假设观察:面部区域出现明显拖影;建议标签或记录方式:标记影响区域和持续区间;不能直接推出的结论:驾驶员一定在快速转头。

任务可观察性:假设观察:眼睛被帽檐遮住;建议标签或记录方式:眼部状态不可判定;不能直接推出的结论:眼睛闭合或存在疲劳。

其他可用信息:假设观察:头部轮廓仍可见;建议标签或记录方式:按头姿任务规则独立审核;不能直接推出的结论:所有任务都有效或都无效。

系统处理策略:假设观察:持续无法获取所需证据;建议标签或记录方式:由系统需求定义提示或降级;不能直接推出的结论:数据标签直接证明系统应停车。

表格是本文提出的设计示例,并非现成标准。正式规则还需要说明持续时间、受影响区域和复核责任人。涉及行为时间区间时,可参照车内行为时间标注的起止边界进一步制定争议处理办法。

车内行为时间标注的起止边界

三、一个假设片段:帽檐遮挡与视线变化同时出现

假设一段固定机位车内视频中,驾驶员先向前看,随后低头,帽檐逐渐遮住眼睛,最后抬头恢复可见。这个样例用于说明标注讨论,不是真实事故或产品测试。

审核时可先按眼部可观察性切分:清晰可见、局部遮挡、无法判定、恢复可见。再由另一个任务规则标注头部方向。两条时间轴可以相互关联,但不必拥有相同边界。眼部已经不可判定时,仍不应补写“持续低头看手机”,除非画面中存在符合该行为定义的证据。

对于边界帧,建议保存争议原因,例如“帽檐遮挡起点不明确”,并在复核后记录采用的规则版本。视频帧率变化或重采样后,原有帧号可能无法直接使用,因此交付时还应说明时间单位和映射关系。这使下一位审核者能够重现判断,而不是只看到最终标签。

如果同时存在多个摄像头,应说明哪个视角支持哪个标签,以及各视角是否完成同步。多路视频不自动等于更多有效证据,相关流程可参考车内多视角视频同步。

车内多视角视频同步

四、边界测试先选切片,再计算平均分

建议在训练前确定需要保护的边界切片。针对上述任务,可以按眼部可见性、头部位置、帽檐遮挡和机位分别组织样本。切片有交叉时,应保留交叉关系,不必硬凑成互斥类别。

每个切片至少报告独立来源数量、有效样本数量、不可判定数量以及对应指标。这里不设置通用最低样本数,因为适当规模取决于目标风险、类别频率和希望判断的效果大小。样本不足时,可以输出待补采清单,避免给一个小样本百分比附加过强结论。

还要检查测试是否真的独立。同一个人的连续视频拆成很多短片,可以产生大量文件,却仍共享人物、机位和拍摄条件。建议保留来源关系,并在符合项目目的的分组上隔离训练与测试;不能仅凭文件名不同就认定为独立证据。

五、仿真用于提出与扩充问题,真实测试检验迁移

Waymo 的公开说明给出的启发,是同时重视困难情境与现实验证。本文建议在车内数据工程中采用类似的问题分工,但不把道路仿真结果移植为驾驶员监控结论。

合成或仿真可以帮助团队构造指定遮挡、姿态组合,检查规则是否完整;真实样本则用于观察这些问题在目标设备和真实条件下如何出现。即使生成片段视觉上很逼真,也要检查它是否改变了动作事实、引入了不可能的遮挡关系,或让模型学习到生成痕迹。

比较增量训练方案时,应固定独立真实测试集,并分别报告目标边界切片和常规切片。目标切片改善但常规切片明显回退,不能只取前者作为结论。若测试结果不稳定,优先复核样本量、标签争议和训练设置,避免把一次波动写成已解决问题。

六、将适用边界写进交付与变更记录

一份可执行的边界说明应列出:支持的任务、摄像头条件、有效观察要求、不可判定触发条件、已验证切片以及尚缺证据的情境。系统侧如何提示、降级或转人工处理,由系统责任方结合具体用途制定,数据供应方不应替代该决策。

设备或规则发生变化时,再确认边界。例如,相机位置移动、镜头更换或标注定义调整,都值得触发一次影响评估。评估可以先从小批对照样本开始,明确哪些原结论仍有依据,哪些需要重测,而不是直接复制旧验收报告。

最终交付不只是“覆盖更多场景”,还应让使用者知道:哪些样本支持模型作答,哪些样本只能支持它承认看不清,以及这些判断能够追溯到什么证据。这比在宣传页上增加一个季节名称,更有助于后续补采、训练和验收。