VWU.AI · 发布于

车内行为时间标注:起止边界、遮挡与争议如何验收

车内行为时间标注:起止边界、遮挡与争议如何验收 — 可见行为 → 未知区间 → 边界复核
原创概念示意,非实测数据。逐步核对证据后再扩大数据规模。

验收车内行为视频标注时,先确认“什么时候算开始、什么时候算结束”,再计算一致性指标。手机进入画面、手指操作手机和驾驶员分心可以是不同的标签;如果定义没有分开,同一条录像出现不同起止时间,未必是标注员粗心。

本文面向驾驶员监控与乘员监控数据的采购和标注负责人,提出一套可写入项目规范的边界验收流程。它是工程建议,不是行业统一标准,也不代表某项产品已经取得的检测效果。关于业务范围,可结合车内监控训练数据说明阅读。

要点 - 行为边界应依据可观察的证据定义,并与人物身份、物体轨迹和可见性分别记录。 - 遮挡造成的未知状态不能自动标成行为持续,也不能自动标成行为结束后的负例。 - 时间交并比需要结合起点误差、终点误差及漏标、重复和拆分记录使用;验收阈值应按任务协商。

先把行为定义写成标注员可以执行的规则

为每个类别写明触发条件、结束条件和不能判断的情况。例如,若任务是“可见的手机操作”,起点可以定义为首次看到符合规则的手部操作证据,终点定义为最后一段操作证据结束。仅持有手机是否算正例、短暂停顿是否合并,都应在标注前确定。

不要把这一可见行为直接改名为“分心”。后者可能还涉及视线、任务上下文及项目采用的判定规则。若录像不能支持某种判断,就应保留未知状态或使用更窄的标签,而不是用标注名称补出不可见的心理状态。

每条规则最好附上正例、易混淆负例和争议片段,明确主体是司机还是乘客。同一时刻两个人都拿手机,可以是两个主体各自的事件;只提供一个整段视频标签,会丢失这种区别。

固定时间坐标,避免帧号和秒数各算各的

建议在项目内统一使用秒为单位,并明确采用原视频时间轴还是裁剪片段时间轴。本文的示例约定区间为左闭右开形式 [开始, 结束);这是便于处理相邻区间的项目约定,并非所有数据集都必须采用的格式。

若交付同时含帧号,应注明帧号从零还是从一开始,以及如何映射到视频时间戳。经过抽帧、变速或重新编码的录像,需要保留派生文件与原始时间轴的映射。存在不等间隔时间戳时,不能只凭一个名义帧率推回所有边界。

剪辑点也不是天然的行为起点。若片段第一帧已经在操作手机,记录“左侧截断”,不要声称动作恰好在零秒开始;片段结束时动作仍在继续,则记录“右侧截断”。边界未知与确定发生在片段边缘,是不同的信息。

把遮挡、不确定和负例分开记录

物体框的可见性不等于行为的连续性。CVAT 对象侧栏文档介绍了遮挡标记,用于表达物体被遮挡的状态;这一工具标记本身不能证明某个行为在看不见时仍然持续。

假设司机的手和手机被方向盘短暂挡住,随后再次出现操作证据。可以把可见区间分段记录,再用事件关联标识表达它们可能属于同一事件。是否允许跨越遮挡合并,以及需要什么上下文证据,应由规则决定。不要仅因为人物或物体轨迹编号相同,就自动填满中间的行为正例。

同样,不要把这段时间作为确定负例。如果后续训练必须使用连续标签,应在数据转换阶段显式选择未知区间的处理方式,并保留转换版本。这样才能区分原始证据和训练输入所作的假设。

对起止位置无法精确确认的情况,可以另存“可能最早”和“可能最晚”的边界范围,同时保留复核后的主标签。不要为了让标注员彼此一致,直接扩大所有正例区间;那会改变标签所代表的事件。

车内行为时间标注:起止边界、遮挡与争议如何验收 — 可见行为 → 未知区间 → 边界复核
原创概念示意,非实测数据。逐步核对证据后再扩大数据规模。

用试标和争议复核检验规则是否可执行

正式批量标注前,让不同标注员独立处理同一组试标片段,再查看分歧集中在哪里。优先纳入短事件、逐渐开始的动作、遮挡、多人交互和片段边缘截断的情形。这里不规定统一试标数量;应根据行为复杂程度和可接受风险确定覆盖范围。

复核时先判断争议属于哪一类:主体不同、行为类别不同、事件数量不同,还是相同事件的边界偏移。只有最后一种情况,才适合直接比较一对起止时间。把所有争议平均成一个时间误差,会掩盖标签定义上的问题。

争议处理结果应写回规范,并回查已经标注的同类片段。保存原始标注、复核结果、修改原因和规范版本,让采购方能够判断一次调整只是修正错标,还是改变了整个类别的边界定义。

时间交并比说明重叠程度,不替代边界审查

ActivityNet 的时间区间计算代码以开始和结束时间计算区间交集与并集。对持续时间为正的两个连续时间区间,时间交并比是交集持续时间除以并集持续时间。该计算没有离散像素框中可能出现的“加一”项。

以下是自拟的算术示例,不是模型测试结果:参考区间为 [10,14) 秒,待验收区间为 [11,15) 秒。两者各持续四秒,交集持续三秒,并集持续五秒,因此时间交并比为 3/5 = 0.6;起点和终点都向后偏移一秒。

同样向后偏移一秒,若参考区间换成 [10,20),待验收区间为 [11,21),交并比就变成 9/11,约为 0.818。这说明相同绝对边界偏移对短事件的影响更大。两个示例只用于解释公式,不构成合格线。

项目可以同时报告起点有符号偏移、终点有符号偏移、绝对误差和时间交并比,并按事件时长分组查看。有符号偏移能帮助发现整体过早或过晚的倾向;绝对误差更适合描述偏离程度。报告这些数值前,应先说明参考标注来自谁、怎样复核,以及候选事件如何与参考事件配对。

不要把一对区间的交并比叫作平均精度

ActivityNet 检测评估代码还包含按置信分数排序、按阈值匹配参考事件并计算平均精度的流程;默认配置使用从 0.50 到 0.95 的十个时间交并比阈值。这个实现可作为理解评估机制的参考,不是车内标注采购必须照搬的验收标准。

只计算已配对事件的交并比,可能完全看不到漏标事件。把一个事件拆成几段、把多个事件合成一段、重复标注同一事件,也需要单独统计和复核。区间一致性更不能直接证明实时预警的延迟、误报率或安全效果,这些需要各自的测试设计。

把验收要求落实到可追溯的交付字段

下面是一份建议字段清单。字段名称可以调整,但采购双方应在首批交付前确认含义、空值规则和版本管理方式。

字段组 建议记录内容 验收时解决的问题
来源与时间 视频标识、原始或片段时间轴、时间单位、转换映射 是否能回到同一段原始证据
主体与事件 主体标识、行为类别、事件标识、分段关联 是否把多人或多个事件混在一起
区间与状态 起止时间、可见性、未知区间、边界不确定范围 哪些标签是观察,哪些仍不确定
边缘条件 片段左右截断、缺失画面、不可判定原因 是否把剪辑边缘当成真实边界
复核与版本 规范版本、复核结果、修改原因、记录时间 调整后能否重现验收结论

验收报告应同时列出事件配对方法、未配对数量、争议类型和协商阈值。对关键行为,可以另设更严格的边界检查;但不要用一个未经任务论证的统一数值覆盖所有类别。

这套边界规则还应与数据集划分管理分别执行。即使标注非常一致,相关录像跨训练与测试集重复,评估仍会回答错误的问题。可继续查看驾驶员监控数据的划分与泄漏检查,并在中文文章中心查阅其他采购与评估指南。

编辑说明

本文由 VWU.AI 发布,为基于公开技术文档整理的工程说明。流程、字段和数值示例均为建议或示意,不是客户案例、实测性能或产品能力承诺。发布方信息见关于我们。所引代码与工具文档于 2026 年 10 月 31 日查阅,后续版本可能变化;若发现定义或引用问题,可通过官网咨询入口反馈勘误。