驾驶员监控数据如何防止训练与测试集泄漏
防止驾驶员监控数据的训练与测试集泄漏,应先写清要验证的泛化目标,再建立能够追溯到原始连续录像的划分清单。依据目标规定必须隔离的驾驶员、采集会话或座舱等维度,把存在禁止关联的样本放进同一组,完成划分后检查重叠与缺失标识,最后冻结测试集。随机打散图片、片段或滑动窗口,不能代替这套检查。
例如,同一段驾驶录像被裁成多个窗口后,即使文件名不同,也可能包含相同帧、相邻动作和几乎一致的光照。模型在测试时看到这些熟悉信息,分数就难以支持“面向新驾驶员”的结论。本指南关注如何审核划分清单;有关采集范围和任务定义,可先查看驾驶员监控数据说明。
关键要点
- 先确定评估对象:新驾驶员、新座舱,还是同一驾驶员的未来时段。
- 对于新录像留出,先记录原始录像及派生关系,再生成窗口;同一录像的派生样本放在一起。
- 指定多个强制隔离维度时,要同时满足它们,不能只检查组合编号。
- 缺失的来源或参与者标识属于待处理问题,不能当作“没有交集”。
- 测试集在模型选择前锁定;预处理参数只能从训练集学习。
第一步:把评估结论写成可检查的条件
先用一句话描述最终报告希望支持的结论,再将它转成划分约束。例如,“评估未参与训练的驾驶员”要求驾驶员组不相交;“评估未见过的座舱”则要求座舱组不相交。如果希望同时讨论两者,就必须同时隔离这两个维度。只按驾驶员分组,不能据此声称座舱、摄像头或采集会话也独立。
“同一驾驶员的未来时段”是另一种目标,可以允许驾驶员重复,也可按预先约定的时间块留出。同一连续录像内作时间留出时,需要检查窗口跨界、画面重叠和时间间隔,并记录排除规则。这与本文示例按完整录像隔离的严格协议不同,报告时不能混用结论。
将目标、强制隔离维度、允许重复的维度和排除规则写进协议。不要等看到测试分数后,再选择最容易解释的评估目标。数据不足时,可以缩小结论范围,不能靠重新命名划分来扩大结论。
第二步:建立逐样本划分清单
为每个可进入训练或评估的样本保留一行清单。清单可以采用表格或结构化文件,但必须能够从样本反查原始录像、参与者和处理版本。下表是建议字段;示例编号仅用于说明,均为化名编号,不包含真实身份信息。
| 字段 | 用途 | 示例或填写要求 |
|---|---|---|
sample_id |
唯一样本编号 | clip_0042 |
parent_recording_id |
原始连续录像来源 | rec_0017,不可留空 |
driver_id |
驾驶员化名组 | person_008 |
participant_ids |
相关车内人员化名组 | 列出驾驶员及纳入隔离范围的其他人员 |
session_id |
采集会话组 | session_012,记录会话定义 |
cabin_id |
座舱或车辆配置组 | cabin_003,明确编号粒度 |
start_ms、end_ms |
在原始录像内的位置 | 使用统一时间基准 |
transform_version |
裁剪、增强等派生版本 | 可追溯处理配置 |
component_id |
多维关联形成的分组 | group_006 |
split |
所属数据集 | train、validation 或 test |
任务类别、遮挡条件和光照等字段有助于检查覆盖情况,但它们不能代替来源标识。多人座舱尤其要记录所有相关参与者:同一乘员可能在一段录像中是驾驶员,在另一段中成为乘客。只保存当前驾驶员编号,会漏掉这种关联。
第三步:先整理来源关系,再提取窗口
从采集记录建立原始连续录像编号,并将转码、抽帧、裁剪、片段提取和增强结果挂在同一个来源下面。连续录像如果因设备限制分成多个文件,应依据采集记录识别它们的连续关系,不能默认“一个文件就是一个独立来源”。
原创流程示意,非实验数据:先追踪来源和关联,再按完整分组划分数据。
建议先给原始录像分配组,再让后续窗口继承分组。对已经切好的数据,应回溯补齐来源关系,然后再划分。在本文的严格新录像留出方案中,同一原始连续录像的所有派生样本都归入同一集合,包括不同分辨率、不同裁剪区域及不同增强版本。文件名改变或增强随机种子不同,都不能证明样本独立。
如果只能拿到片段而无法确认其原始来源,应将来源状态标为未知,并说明不能据此证明训练与测试独立。标注质量检查可配合视频标注质量检查清单(英文),但标注正确与划分独立是两个需要分别验证的问题。
第四步:按强制维度构造完整分组
单维度分组时,可以将选定的组编号交给分组划分工具。GroupKFold 官方文档规定同一个组不会跨训练与测试折出现。不过,它只识别传入的组编号,不会自动理解驾驶员、座舱或来源之间的业务关系。
当协议要求多个维度同时不重叠时,我们建议采用关联图程序:每个样本是一个节点;只要两个样本共享任一禁止跨集合的标识,就把它们连接;再把每个连通分量作为不可拆分的组。多人座舱的相关参与者也要参与连接。
不能直接把 driver_id 和 session_id 拼成一个组合编号就结束。例如,示意组合 (person_008, session_012) 与 (person_008, session_019) 不同,却共享驾驶员。关联还会传递:某驾驶员连接两个会话,其中一个会话又连接另一位参与者,这些记录可能需要进入同一分量。
如果出现一个覆盖大部分数据的巨大分量,先核对会话定义和标识是否过宽。若关联真实存在,可能需要补充独立采集,或缩小评估结论。反复随机划分直到分数好看,无法解决结构上的关联。
第五步:审核重叠、缺失项与类别覆盖
对训练、验证、测试三者逐对检查所有强制隔离字段,并单独检查原始录像来源。以下 Python 示例采用训练、验证、测试三者均非空的严格协议,这不是所有项目的通用要求。它审核单值字段及必需列;字段名应按协议调整,读取表格时将每行转为字典。它不处理 participant_ids 列表,多人参与者需先展开,再按同样方式计算集合交集。
from itertools import combinations
def audit(rows, required_fields):
rows = list(rows)
splits = ("train", "validation", "test")
required = {"sample_id", "split", *required_fields}
issues, seen = [], set()
values = {f: {s: set() for s in splits} for f in required_fields}
counts = dict.fromkeys(splits, 0)
for index, row in enumerate(rows):
missing = required - row.keys()
if missing:
issues.append(("缺少字段", index, sorted(missing)))
sid, split = row.get("sample_id"), row.get("split")
if sid is None or not str(sid).strip():
issues.append(("缺失样本编号", index))
elif sid in seen:
issues.append(("重复样本编号", sid))
else:
seen.add(sid)
if split not in splits:
issues.append(("缺失或未知划分", index, split))
else:
counts[split] += 1
for field in required_fields:
value = row.get(field)
if value is None or not str(value).strip():
issues.append(("缺失标识", index, field))
elif split in splits:
values[field][split].add(value)
for split, count in counts.items():
if count == 0:
issues.append(("空集合", split))
for field, groups in values.items():
for left, right in combinations(splits, 2):
overlap = groups[left] & groups[right]
if overlap:
issues.append(("跨集合重叠", field, left, right,
sorted(overlap, key=str)))
return issues
import csv
with open("split_manifest.csv", newline="", encoding="utf-8") as source:
rows = list(csv.DictReader(source))
issues = audit(rows, ["parent_recording_id", "driver_id"])
if issues:
raise ValueError("划分清单未通过审计")
还应检查重复样本编号、来源时间范围和可疑重复画面。内容相似性检查可以帮助发现遗漏来源,但“没有找到相似画面”不能补足未知的来源记录。
分组完成后再看类别与条件覆盖。如果使用 GroupShuffleSplit,其 test_size 按组数计算,浮点比例会向上取整,并非按样本数计算;多次划分产生的测试集也可能相互重叠。StratifiedGroupKFold会尝试保留类别比例,但少数大组可能使良好分层难以实现。此时应报告覆盖缺口,不能为凑比例拆开必须隔离的组。
第六步:冻结测试集并报告独立性边界
在模型选择前保存最终清单、协议、来源映射和审计记录,为文件计算校验值并标记版本。训练阶段使用训练集拟合归一化、缺失值处理及其他可学习的预处理;使用验证集选择模型、阈值与配置。测试集仅用于既定的最终评估。官方数据泄漏说明也强调,预处理学习不能利用测试数据。
如果根据测试表现调整模型,该测试集便已经参与开发。后续需要如实说明用途,并为新的独立评估准备额外留出数据。新加入的合成样本同样要保留其人物、参考素材和源片段关系;相关差异可参阅合成与真实车内数据指南(英文)。
最终交付应包含:评估协议、逐样本划分清单、来源与分量映射、重叠及缺失项审计记录、冻结版本和测试报告。报告写明隔离了哪些维度、允许哪些重复、各集合的组与样本覆盖,以及未知来源和排除项如何处理。
这些材料让评估结论可以被复查,但独立性检查仅基于已记录的身份与来源信息,划分本身不保证泛化能力或驾驶安全。未覆盖的座舱、人员、摄像头与实际使用条件,仍属于结论边界。可在中文资源库查看相关指南;如需讨论采集与划分要求,可提交数据需求。
官方文档核对日期:2026-10-29。文中字段、编号和流程为建议与示意,不代表客户数据或实验结果。
发布与纠错说明
本文由 VWU.AI 发布,提供建议性的技术流程。已按2026年10月29日可访问的一手文档核对相关说明;文中的流程图、编号和代码为示意,不代表客户结果。可查看关于我们,或提交具体段落与来源以反馈更正。