驾驶员分心检测数据:行为标签与易混淆负例
驾驶员分心相关数据更容易评估的前提,是每个标签都指出主体、可观察动作和判断所需条件。“画面有手机”“司机手持手机”和“司机看手机”代表不同证据。没有说明就合并为同一类别,会在训练前制造歧义。
本文帮助采购方定义视频标注及应同时纳入的易混淆样本,补充驾驶员与乘员监控数据采购清单中的标注复核环节。下文结合假设场景和一段 VWU.AI 样片,说明不同证据能支持哪些标签。
要点 - 根据可见证据定义标签,并确认动作由谁完成,不直接从动作推断内在注意状态。 - 负例与无法判断的样本分别管理,同时覆盖过渡、并发动作和相似非目标活动。 - 按类别与条件检查漏标、错标、主体混淆和时间错误,并验收实际导出文件。
选择模型真正需要识别的动作
列举“分心行为”之前先定义输出:物体检测需要物体标签,动作识别需要随时间出现的行为证据,视线估计需要视线目标及不确定性的定义,组合系统还需要明确这些输出怎样合并。
Drive&Act 项目区分较长任务、语义动作和物体交互。这种层次说明训练标签可能处于不同粒度;其研究用途条款也应与商业项目的授权要求区分。研究数据的结构可作参考,却不是可以直接照搬的采购规格。
为每个候选类别写清可观察条件、目标主体、必要上下文和允许共存的标签。不要假定可见动作直接测量内在注意:人物看似朝前时,也可能缺少判断认知状态所需的证据。
建立易混淆对照表
困难负例与目标相似,但不满足具体目标的定义,因此必须相对于某个标签讨论。乘客使用手机,对“司机手机交互”可以是负例,同时对“乘客手机交互”是正例。未知样本则是证据不足,不能与确定负例合并。
| 待协商的目标定义 | 候选负例 | 未知或需复核情形 |
|---|---|---|
| 司机手持并操作手机 | 乘客操作手机 | 司机手和物体被遮挡 |
| 司机伸手到指定后排区域 | 司机换挡 | 裁剪画面不含动作目的地 |
| 司机可见地饮用容器内液体 | 容器放在杯架 | 容器遮住嘴,接触无法确认 |
| 司机转头朝向乘客 | 司机看后视镜 | 转头时脸部不在画面 |
| 司机操作车载娱乐控制器 | 手停留在控制器附近 | 无法辨认触碰目标 |
这些区分需要项目证据。手靠近屏幕本身不能证明发生了触碰。DMD 论文描述分心、视线、手部交互与时间动作等驾驶员监控素材,其区分有助于提醒采购方保留这些概念,而不是压缩为没有解释的单一“分心”标志。
多人同框时保留角色和交互方向
分别保存稳定轨迹标识和任务所需角色。“人物二”在片段内可以始终一致,却不能说明其是否为司机。若任务使用座位、角色与轨迹身份,这些字段应分别记录。
规定视角变化、人物离开画面或座位关系不明时如何确定角色。不能假定画面左侧的人永远是司机;驾驶位配置只有在已知时才记录,不确定情况应允许复核。
交互还需指出发起者与对象。若项目要区分司机向乘客递物和乘客向司机递物,仅写“递物”就不完整。目标被遮挡时应记录限制,而不是补造关系。完整标注结构应先通过少量多人片段复核。
规定过渡和并发标签
明确动作开始、结束和中断规则,以及多个标签是否可以同时存在。司机可以手持手机并朝前看,再在继续持有手机时低头;单个片段标签无法保留该序列,除非明确规定舍弃哪些信息。
以一段自拟的八秒录像为例:1.0 至 2.5 秒出现拿起手机的动作,2.5 至 5.0 秒手机持续可见地在手中,而只有 3.0 至 4.0 秒能够判断眼睛与目标的关系。项目可以分别标注手物交互和视线,而不把整段称为“看手机”。
| 假设区间 | 可用证据 | 示例标注决策 |
|---|---|---|
| 1.0 至 2.5 秒 | 可见拿取动作 | 司机主体的手机拿取事件 |
| 2.5 至 5.0 秒 | 手机可见地被持有 | 司机主体的手机持有事件 |
| 3.0 至 4.0 秒 | 眼睛与目标关系可判断 | 复核后应用约定的视线标签 |
| 其他视线区间 | 视线证据不足 | 视线未知,而不是默认朝前 |
数值仅为示意。真实规则必须有自己的边界定义;手机动作明确时,复核者仍应能够否决证据不足的视线标签。保留原始上下文供争议裁决。
样片标注:从哪一段开始算持握手机?
第一帧里,手机已经放在驾驶员腿上。如果要识别的是“驾驶员持握手机”,把整段标为正例,就会把拿起之前的时间也算进去。下面四段跟踪的是同一部手机。
| 时间(秒) | CSV 中的手机状态 | 画面证据 |
|---|---|---|
| 0–0.75 | phone_on_lap | 手机平放在驾驶员腿上,手还没有伸向它。 |
| 0.75–1.75 | reaching | 一只手伸向手机并遮住一部分机身,难以确定从哪一帧开始握稳。 |
| 1.75–2.75 | lifting | 手机随手抬起并倾斜,离开原先平放的位置。 |
| 2.75–6.041667 | held | 驾驶员低着头,单手持握手机。最后一帧仍在持握,片中没有拍到放下的动作。 |
视频为 24 帧/秒,共 145 帧。CSV 从第 0 帧起计,包含起始帧,不包含结束帧;最后一个可见帧是第 144 帧。秒数最多保留六位小数,精确对齐请用帧号。
四段的屏幕操作均标记为未知。画面无法辨认屏幕内容或具体点击动作,仅凭低头也无法确定注视目标。表中边界是为了复核这段样片而划分,可对照原始帧讨论。
用 ASAM OpenLABEL 复现四段标注
OpenLABEL 的区间包含起始帧和结束帧。以伸手为例,CSV 记为从第 18 帧开始、到第 42 帧之前结束,对应 OpenLABEL 的第 18 至 41 帧。第 42 帧已经属于抬起手机的动作。
下载 OpenLABEL 标注(JSON) · 下载 CSV、转换脚本和使用说明(ZIP)
检查导入结果时,可以对照视频查看第 41、42 帧的标签是否随动作切换。两帧的屏幕操作都仍然是未知。
防止背景变成标签捷径
围绕目标人物、视角、光照、服装、物体外观和车内环境制定覆盖计划,检查某个正类是否总与独特背景、人物或录制会话同时出现。否则模型可能依赖与目标行为无关的方便线索。
可行时,构建相似摄像机条件下不同动作、或相同动作在不同条件下的配对复核样本。这是建议性的诊断设计,不保证配对就能消除捷径。同会话中有很多帧,不足以证明数据多样性。
划分时协调管理关联人物和源序列。scikit-learn 交叉验证指南讨论受试者关联及分组隔离;对生成变体和近重复片段也应一致应用泛化目标。详细流程见数据划分与泄漏检查。
按错误类型和可用证据复核批次
通过试制批次一起测试标注手册、导出格式和读取器。复核者独立处理共同子集并保留分歧;分歧可能来自规则不清、视角困难或真实错标,需要分别修正。
将问题拆成漏事件、多余事件、错类、主体混淆、时间错误和不受证据支持的标签,说明哪些样本可评估。总体一致率可能掩盖稀有类薄弱或特定视角的系统性错误。
模型评估还要区分事件检测与逐帧分类,约定预测与参考事件的配对方式、重复预警计数,以及哪些正常驾驶时段可进入误报率分母。任务与分母不一致的两个数字不能直接比较。
批次验收前应确认:每个类别都有纳入规则、排除条件和未知策略;导出后角色与交互对象不丢失;试制包含困难负例和过渡;读取器测试并发标签与时间约定;检查源分组、近重复和评估边界;缺陷有责任人、规则版本和复检记录。
先用车内数据服务示例讨论视觉任务,再经需求表单说明所需区分。对任何拟定标签或场景,应先确认样本,再视为已约定的交付范围。
编辑说明
本文由 VWU.AI 发布,为既有英文指南的中文版本,属于基于公开来源的标注规划说明,不是新基准、客户案例或性能报告。手机样片的四段标注于2026年11月18日对照画面复核;文中另举的八秒场景为假设示例。发布方信息见关于我们;如需勘误,请通过上述表单提供具体段落及依据。