驾驶员与乘员监控训练数据:采购与验收清单
采购驾驶员监控系统(DMS)或乘员监控系统(OMS)的训练数据,应先确定模型任务、行为定义和验收方法,再确定视频数量。仅写“需要一批分心驾驶视频”,无法说明哪些动作算正样本、遮挡时怎么标注,也无法判断交付是否完成。
这份清单供算法、数据和采购团队共同填写,适用于讨论真实采集或合成视频项目。它是基于公开研究与文档整理的实践建议,不是汽车安全认证标准。VWU.AI 的车内行为数据定制服务采用需求确认、样本验证和按项目约定交付的流程;下列示例不代表任何客户已经收到的数据或效果。
要点
- 用可观察动作定义标签,同时写出容易混淆的负样本。
- 在批量生产前,用代表性样本验证场景、时序、标注和读取程序。
- 按人物、原始序列或生成来源分组划分数据,检查组间重叠。
- 数据验收与模型评估分别记录;文件合格不等于模型满足部署要求。
本页导航: 模型任务 · 正负样本 · 时序规格 · 元数据 · 分组划分 · 验收 · 最终清单 · 资料
1. 先写清模型实际要判断什么
将“疲劳”“分心”“乘客互动”拆成摄像机能够观察、标注人员能够一致判断的事件。比如“司机正在看手机”与“手机出现在画面里”是不同任务,前者还需要人物、物体与动作关系。
Drive&Act 的官方项目使用分层活动标签,区分任务、动作及物体交互。这说明标签层级本身也是数据设计的一部分;它的标签与使用条件并不自动适用于你的商业项目。Drive&Act 官方项目
需求表至少记录以下内容:
| 项目 | 需要共同确认的问题 |
|---|---|
| 输出单位 | 模型预测单帧、短片、时间段,还是连续事件? |
| 目标人物 | 司机、前排乘客、后排乘客分别如何标识? |
| 可观察条件 | 眼睛、手、手机被遮挡时,是未知、忽略还是其他标签? |
| 标签关系 | 同时回头和使用手机能否多标签,还是采用优先级? |
| 部署条件 | 摄像机位置、成像方式、方向盘位置、光照与车辆范围是什么? |
核对方式:让算法负责人和标注负责人独立给同一组样本判类,记录分歧,再修订定义。不要把无法观察的心理状态直接当成确定标签;如果任务需要此类标签,应另行说明证据和获取方法。
2. 为每个正样本配置边界与负样本
负样本要覆盖“看起来相似,但不满足目标定义”的行为。否则验收只检查目标动作是否出现,无法发现标签边界的问题。
下面是用于需求讨论的示例,不是行业统一标注规则:
| 目标事件 | 正样本定义示例 | 需要讨论的负样本或未知状态 |
|---|---|---|
| 使用手机 | 目标人物手持手机并完成约定的操作动作 | 手机放在支架上;乘客拿手机;物体被遮挡 |
| 回头 | 头部转向后排并达到项目约定的可见状态 | 短暂查看后视镜;仅移动眼睛;面部不可见 |
| 闭眼片段 | 可见眼部呈现约定的持续闭合事件 | 正常眨眼;墨镜遮挡;画面模糊 |
| 乘员接触 | 指定人物与对象发生约定的身体接触动作 | 递物、整理衣物、被遮挡的接触、无法确定的对象 |
每个标签还应有“纳入”“排除”“未知”“需复核”四类说明。短暂闭眼、打哈欠等可观察行为,不应在缺少额外证据时自动等同于生理困倦诊断。
场景数量按任务风险、已有数据缺口和验证结果协商。不要把某个固定正负比例当作所有项目都适用的标准。官网公开视频示例可以帮助讨论场景外观,但不能替代项目标签定义。
3. 把事件起止与视频规格写进协议
对于时间段标注,应定义事件何时开始、何时结束,以及允许的边界误差如何计算。标签文件可采用毫秒或帧号,但必须明确单位;使用帧号时,还要说明帧率和时间戳的关系。
以下为虚构的格式设计示例,数值仅用于展示字段:
{
"clip_id": "example-001",
"source_group_id": "source-example-a",
"origin": "synthetic",
"camera_view": "front",
"duration_ms": 6000,
"events": [
{
"actor_id": "driver-01",
"label": "phone_interaction",
"start_ms": 1800,
"end_ms": 4200,
"visibility": "visible"
}
],
"label_schema_version": "example-v1"
}
读取程序应检查 0 ≤ start_ms < end_ms ≤ duration_ms,确认人物 ID 和标签在约定字典中存在。若动作延续到片段外,应记录截断状态,而不是假定片段末尾就是动作结束。
视频规格另列容器、编码、分辨率、帧率、时长、颜色或传感器模态、音频是否交付。灰度外观不等同于真实近红外传感器成像;有相关部署要求时,应在样本阶段单独验证成像假设。格式、标注字段及可实现范围须由双方确认。
4. 用元数据检查覆盖范围与来源
交付清单应能回答“这条视频来自哪里、为什么在这里、能用于什么”。《Datasheets for Datasets》提出记录数据集的动机、组成、获取过程和建议用途,为交付文档提供了一个公开参考框架。Gebru 等,2021 年版本
建议按项目需要约定以下字段,未知值显式保留为未知:
- 身份与版本:片段 ID、原始序列或来源组 ID、标签字典版本、批次版本。
- 场景:目标人物及座位、视角、光照、车辆配置、目标行为、干扰因素。
- 数据来源:真实采集或合成、适用的来源说明、相关授权和使用限制。
- 交付校验:文件名、大小、校验值、时长、标注文件路径、复核状态。
不要根据外观推断并写入未得到确认的人口属性。对合成数据,应说明生成来源的记录粒度和不可提供的信息;对真实采集,应确认项目要求的授权、隐私处理和保留安排。具体法律判断由项目合规负责人确认。
5. 在切片和扩增前确定分组划分
同一原始序列的相邻片段、同一人物的重复片段,可能带有相关信息。scikit-learn 的分组交叉验证文档指出:同一受试者的多条样本可能使模型依赖人物特征,因此应按任务使用组级划分。scikit-learn 分组交叉验证
在车内项目中,可以将这一原则落实为可审计的来源组:
- 根据要测试的泛化目标,选择人物、原始视频、采集会话或生成来源等分组维度。
- 把同一来源的切片、重复文件和扩增版本归到同组,再分配训练、验证和测试集合。
- 如果多个关系必须同时隔离,按这些关系合并关联样本;仅拼接 ID 并不必然阻止同一人物跨组。
- 检查组 ID 交集和重复项,同时检查每个集合的行为与条件覆盖。隔离和覆盖必须一起看。
以上是把分组原则应用到本任务的建议,不是某个工具自动保证的结果。合成数据也需要来源追踪;相同种子图像的多个变体,不应未经检查就当成独立的评估证据。
6. 先验收样本,再约定批量放行
用能暴露问题的代表性样本完成一次实际读取、标注核对和模型评估流程,然后冻结版本化的验收规则。只挑最好看的片段无法检验边界条件。
| 验收层 | 具体检查 | 留下的证据 |
|---|---|---|
| 文件 | 文件可解码、规格符合约定、清单与标注一一对应 | 校验日志、缺失项列表 |
| 场景 | 人物、座位、动作、对象与请求一致 | 逐项判定和拒收原因 |
| 标注 | 标签、对象关系、时间边界与可见性规则一致 | 复核记录、分歧及修订版本 |
| 覆盖 | 目标条件、负样本和罕见组合达到约定范围 | 按条件拆分的数量表 |
| 独立性 | 来源组、重复项及划分符合评估设计 | 组交集检查和重复报告 |
| 模型 | 在独立、适用的评估数据上比较任务指标 | 分条件结果、局限与复现设置 |
在批量前明确抽检方法、各类缺陷处理、返工范围和复验方式。验收阈值由任务与风险要求决定,本文不提供未经验证的通用通过率。
数据集质量和模型表现应分开签字。可以在真实目标条件的独立测试集上评估合成训练数据的作用,但不能仅凭合成样本自身的视觉质量推断部署收益。《Model Cards for Model Reporting》强调报告模型使用范围、评估与局限;它是报告框架,不是 DMS 合格认证。Mitchell 等,2019
发出询价前的最终清单
- 任务与目标人物已经写清,未知和遮挡有处理规则。
- 每个目标行为有正样本、边界案例及负样本定义。
- 视频规格、标签字典、时间单位、交付目录已经约定。
- 来源、授权和使用限制有明确记录要求。
- 分组划分和重复检查有负责人及可检查的输出。
- 样本验收、批量放行、返工与模型评估分别有标准。
带着这份清单,通过中文需求表单描述缺失场景和交付要求。VWU.AI 会按具体需求讨论样本可行性与实际交付范围;价格、数量、排期和使用条款按项目确认。
编辑说明与资料
本文由 VWU.AI 发布,面向训练数据项目需求讨论,采用公开研究与官方文档进行方法整理。文章没有声称开展了新的实验;表格、字段和 JSON 是说明性建议,不是客户数据、模型成绩或交付承诺。技术资料核对日期:2026 年 10 月 26 日。
车内图片为官网已有的合成场景示意,并非真实客户采集记录。更正或数据需求可联系 chan@vwu.ai,也可查看 VWU.AI 服务介绍。