车内关键点数据验收:可见性状态与导出回读
验收车内关键点数据,应检查关节名称、坐标、可见性状态和人物关联能否完整进入交付格式。标注工具里看起来正确的骨架,导出后仍可能出现关节点丢失、状态含义不清或点位顺序改变。仅凭编辑器截图,无法确认训练程序读到的内容是否符合约定。
本文为训练数据采购方和模型团队提出一套验收流程,不代表已经完成的客户项目,也不保证某款工具的转换结果。先在驾驶员与乘员监控数据需求中写清目标任务,再决定关键点定义与交付检查方法。
验收要点 - 标注前约定关节身份、坐标参考系与状态含义。 - 将遮挡、画面外和编辑器临时隐藏分别处理。 - 检查实际导出文件,并在独立工作区重新导入复核。 - 保留格式无法表达的字段、不确定位置和轨迹限制,避免默默替换状态。
先确定骨架定义与坐标约定
交付规范应为每个关节点规定稳定的名称,并说明训练程序如何将名称映射到输入位置。左右方向究竟以人物自身还是画面为准,也应明确。坐标使用像素还是归一化数值、原点在哪里、对应什么图像尺寸,都需要随数据交付。
裁剪会改变坐标参考系。即使某个点的数值没有变化,也不能据此判断它仍指向同一位置。应提供裁剪和缩放变换,或明确坐标已对应交付图像。验收时要把标注叠加到买方实际收到的帧上,而不是只检查未交付的高分辨率源文件。
人物关联和座位角色也要分别定义。轨迹标识用于说明哪些观察属于同一个对象;驾驶员、前排乘员等角色则是项目约定的功能标签。遇到换座、角色变化或人员重叠时,必须规定关联方式,不能仅用角色名称代替跨帧身份关联。
区分可见、遮挡、画面外与临时隐藏
CVAT 将骨架中的点视为具有独立属性的元素。其文档区分了表示部位超出画面的 Outside、通常表示部位仍在画面内但被其他物体挡住的 Occluded,以及供标注人员临时调整显示、不会在会话之间保存的 Hidden。这些是具体工具的状态定义,不能直接视为所有数据集都通用的编码。CVAT 骨架标注文档。
采购方可以先准备如下判定表,再把项目规则映射到工具能力:
| 画面情况 | 需要事先约定的规则 | 验收证据 |
|---|---|---|
| 关节点可以直接观察 | 点位应落在哪个解剖或几何位置 | 审核者能在交付帧中定位该关节点 |
| 关节点被方向盘或其他乘员挡住 | 是否允许估计位置,以及如何保留不确定性 | 遮挡状态与位置估计规则可区分 |
| 关节点位于画面之外 | 坐标省略、保留还是从训练中排除 | 导出结果遵守约定,不被误当成可见点 |
| 无法可靠确定点位 | 标注者怎样记录不确定情况 | 争议样本仍可送交复核 |
| 只是在编辑器中隐藏显示 | 哪些显示操作不改变实际标签 | 保存结果不依赖审核者的临时显示设置 |
不要默认坐标为零就表示“未标注”。在约定的坐标系里,零也可能是合法的边界位置。缺失状态需要独立定义,而不是让训练端自行猜测。
用小型样例集验证转换规则
批量验收前,先选取能够触发不同规则的代表性帧,例如直接可见的手臂、被方向盘挡住的手、超出摄像机范围的关节点、两名乘员相互重叠,以及无法确定的位置。这组样例用于验证转换规则,不等于对整批数据质量的统计估计。
每个样例应保存原始帧标识、骨架标签定义、预期人物关联及关键点状态。可以加入靠近裁剪边缘的关节点,便于发现坐标参考系变化。由独立审核者写下判定理由,避免把“转换程序没有报错”当作验收结论。
检查导出文件,再到独立工作区回读
先把真实导出文件与接收系统的格式说明逐项核对。CVAT 原生格式文档展示了带名称的点元素、点坐标以及 occluded、outside 等字段。这可以作为检查原生导出的依据,但不能据此断定其他转换器会保留全部字段。CVAT 原生标注格式。
在另一个编辑器中打开文件前,先进行解析检查:图像引用是否可用、点标签是否对应约定关节、坐标单位是否正确、人物关联是否保持。应按约定的语义映射比较,不要默认不同格式中的数组位置天然一致。
随后将样例导入具有所需标签定义的独立项目,与参考帧和源标注对照。独立工作区有助于发现一种常见验收盲点:原项目提供了额外上下文,使不完整的导出结果在原界面里仍显得正确。
CVAT 也提供面向人体姿态数据的 COCO Keypoints 格式说明。选用交付格式,应以接收流程支持的语义为依据;熟悉的文件名并不能证明原生属性一定完整保留。CVAT 的 COCO Keypoints 格式说明。
建立差异台账并约定通过条件
差异台账应能让未参与转换的人复核结论。下面只是一条示意审核记录,不是 CVAT 或 COCO 的标准结构,也不是实际项目样本:
{
"帧引用": "验收样例甲",
"人物引用": "乘员甲",
"关节名称": "左手腕",
"预期状态": "遮挡",
"导出状态": "未说明",
"复核处理": "退回检查映射规则"
}
应在检查交付物之前约定哪些问题会阻止验收。例如人物关联错误、关节定义交换或未说明的坐标变换,可能使样本不再适用于原任务。状态丢失、点位缺失和位置争议应分别记录。若报告错误比例,要同时提供审核点数或人物帧实例数,并按状态拆分,避免整体结果掩盖集中出现在遮挡场景中的问题。
不应套用一个所谓通用的像素容差。容差与抽检覆盖应结合模型任务、图像尺度和标注规则制定,并保留验收依据。可用视频标注质量检查清单把空间点位检查与整批交付审核衔接起来。
单帧回读通过后,仍要检查轨迹限制
在选定帧上完成点位对照,并不能证明整段视频的轨迹身份、插值或行为边界都经过了正确转换。使用轨迹的训练任务,需要单独检验这些属性,并说明中间帧如何处理。动作时间段则应另做行为起止边界与遮挡审核。
交付时保留规范、转换样例、转换器版本、字段映射表、审核决定和未解决案例。如果目标格式无法表达某个必要区别,应在验收前约定补充元数据文件,或改用合适的格式。负责构建训练掩码和评估集的人需要明确知道这一决定。
关键点表达的是选定的几何观察与标注判断,不能单独证明驾驶员的注意力、疲劳程度或生理状态。讨论车内训练数据定制需求时,请同时说明需要的关节点、摄像机视角和下游任务,以便确定样本与验收范围。