VWU.AI · 中文版发布于

视频标注质量:可复核的交付验收清单

视频标注质量:可复核的交付验收清单 — 语义审核 → 时间检查 → 导出验证
原创概念示意,非实测数据。逐步核对证据后再扩大数据规模。

视频标注质量应依据版本化任务规格、可复现的复核样本和实际导出文件验收。一个总体“准确率”无法说明是否漏事件、混淆主体、偏移边界,或在导出时丢失标签。

本文帮助采购方把质量期望转成可检查的验收项目,涵盖行为与时间事件,以及约定范围内的框与轨迹。整体采购流程可参考驾驶员与乘员监控数据采购清单。示例均属虚构,不描述客户项目。

要点 - 测量质量前定义标注单位、缺陷类型和复核规则。 - 分别检查语义、完整性、时间、身份和导出,区分代表性抽样与困难样本专项复核。 - 要求纠错与复检证据,不能仅凭最终百分比判断批次合格。

定义标注必须表达什么

从下游模型或分析任务出发。整段标签、时间事件、逐帧物体框和连续轨迹是不同交付物。列出必填字段,并说明哪些情况可以缺失、未知或不适用。

时间行为标签应定义主体、动作、相关目标、区间约定和可见性规则。几何标注需定义坐标系统、图像尺寸,以及坐标对应交付画面还是变换后的视图。轨迹需规定身份连续性、离开和再次进入的处理方式。

使用带正反例的版本化手册。字段字典通常不足以解决边界歧义。让采购方模型负责人和标注负责人共同确认示例,保留决定与理由,为后续分歧提供参照。

分开质量维度与缺陷严重程度

测量与任务有关的错误。类别正确不代表时间区间或主体正确;语法有效的 JSON 也可能引用了错误视频。

维度 示例缺陷 验收证据
语义 乘客动作被分配给司机 事件复核与主体角色记录
完整性 符合规则的事件缺失 参考对照与漏事件清单
时间 起点包含长段无关前奏 对照时间基准的边界复核
几何或身份 框使用错误尺寸或轨迹换人 叠加显示与连续性检查
导出完整性 类别标识含义变化或时间戳越界 结构校验与读取器往返测试
来源追踪 缺少规则版本或复核状态 清单与变更历史

严重程度应由预期用途和合同约定确定。时间单位错误可能使整批无效,即使标注看起来合理;未使用展示标签中的拼写差异则可能有另一种后果。不能给所有项目套未经验证的通用缺陷阈值。

建立参考样本与争议裁决流程

采用有记录的选取程序建立代表性审计样本,保存样本标识和适用的选择种子。抽样单位应与结论对应:随机相邻帧不能被描述为代表所有驾驶条件的独立样本。

另设针对稀有事件、遮挡、过渡和易混淆类别的专项复核。它有助于发现失败模式,但刻意困难的组成不能在没有适当抽样分析时代表批次平均错误率。两类复核应分别报告。

CVAT 官方自动质检文档介绍与经过整理的参考标注任务进行比较,也说明蜜罐模式要求任务帧随机排序,且不支持轨迹标注。单帧比较能力不能自动替代连续事件的时间验收。使用前应检查实际部署版本、支持的标注类型与产品可用性。

让复核者独立检查参考样本,再裁决分歧。CVAT 共识文档描述比较重复标注的流程。一致性是有用证据,但共享不清楚规则的复核者也可能一致地判断错误。应修正规则、受影响示例和参考集。

视频标注质量:可复核的交付验收清单 — 语义审核 → 时间检查 → 导出验证
原创概念示意,非实测数据。逐步核对证据后再扩大数据规模。

用一个算例检查时间边界

假设参考事件为 2.0 至 4.0 秒,而交付标注从 1.8 秒开始、4.4 秒结束。起点早 0.2 秒,终点晚 0.4 秒;能否接受取决于复核前约定的边界规则。

时间交并比等于两个区间共有持续时间与并集持续时间之比。本例交集为 2.0 秒,并集为 2.6 秒,结果约为 0.769。这只是算术示意,不是数据集测量结果或推荐合格线。

在重叠指标之外保留起止误差。长事件即使绝对误差较大,仍可能有较高重叠;短事件则可能对小偏移敏感。事件匹配应有明确的一对一规则,避免重复预测或标注为同一参考事件反复获得信用。

还应检查片段边缘截断、未知区间和并发动作。没有观察到结束,不等同于观察到动作结束。车内数据示例可用于讨论可见动作,但验收仍需任务专属时间参考。

测试实际导出,而不只看标注界面

用实际下游读取器加载试制导出,将标签叠加回交付视频,再与标注界面对照。此过程可发现帧偏移、类别标识变化、属性丢失和坐标转换错误。

人工抽样前先自动检查:引用视频存在且标识唯一;时间戳使用约定单位并在交付时长内;事件起点早于终点;类别和属性属于指定结构版本;必需的主体或轨迹标识有效;坐标符合画面几何与变换规则;清单、标注文件和数据版本一致。

有意为空的标注也需解释。它可能表示“复核过且无目标事件”“尚未标注”或“无法评估”。这些状态应分开,避免读取器将未完成工作静默当成负训练数据。

用可追溯复检关闭缺陷

每个失败项都保留样本标识、缺陷类别、参考证据、负责复核者和处理结论。区分单项纠错与系统性规则或导出问题;若单位不匹配影响整批,只修抽样发现的例子并不能解决其余问题。

修正后重新运行受影响的结构检查,并复核有记录的复检样本。保留原发现和修正版本;手册变化时,记录哪些历史标签需要回查,不能混用规则版本却不说明。

《数据集说明书》原始论文提出记录数据动机、组成、采集和建议用途。交付专属质量记录可补充这些背景,使验收决定可复现。

验收包应说明批次与规则版本、抽样方法、参考集责任、可评估数量、分类型缺陷、修正历史和未解决限制。模型性能评估应单独管理:标注符合规格并不确立部署适用性。关于源数据独立性,还可查看训练与测试划分泄漏指南。

经需求表单提供标签、导出格式与验收程序,并在扩大交付前通过代表性样本确认标注范围。

编辑说明

本文由 VWU.AI 发布,为既有英文指南的中文版本,提供质量规划建议和假设时间算例,不报告客户验收率或模型结果。工具可用性应以项目部署版本为准。发布方信息见关于我们;如需勘误,请通过上述表单提供段落及来源。