VWU.AI · 发布于

驾驶员监控数据如何防止训练与测试集泄漏

驾驶员监控数据如何防止训练与测试集泄漏 — 来源关系 → 分组划分 → 交叉审计
原创概念示意,非实测数据。逐步核对证据后再扩大数据规模。

防止驾驶员监控数据的训练与测试集泄漏,应先写清要验证的泛化目标,再建立能够追溯到原始连续录像的划分清单。依据目标规定必须隔离的驾驶员、采集会话或座舱等维度,把存在禁止关联的样本放进同一组,完成划分后检查重叠与缺失标识,最后冻结测试集。随机打散图片、片段或滑动窗口,不能代替这套检查。

例如,同一段驾驶录像被裁成多个窗口后,即使文件名不同,也可能包含相同帧、相邻动作和几乎一致的光照。模型在测试时看到这些熟悉信息,分数就难以支持“面向新驾驶员”的结论。本指南关注如何审核划分清单;有关采集范围和任务定义,可先查看驾驶员监控数据说明。

关键要点

第一步:把评估结论写成可检查的条件

先用一句话描述最终报告希望支持的结论,再将它转成划分约束。例如,“评估未参与训练的驾驶员”要求驾驶员组不相交;“评估未见过的座舱”则要求座舱组不相交。如果希望同时讨论两者,就必须同时隔离这两个维度。只按驾驶员分组,不能据此声称座舱、摄像头或采集会话也独立。

“同一驾驶员的未来时段”是另一种目标,可以允许驾驶员重复,也可按预先约定的时间块留出。同一连续录像内作时间留出时,需要检查窗口跨界、画面重叠和时间间隔,并记录排除规则。这与本文示例按完整录像隔离的严格协议不同,报告时不能混用结论。

将目标、强制隔离维度、允许重复的维度和排除规则写进协议。不要等看到测试分数后,再选择最容易解释的评估目标。数据不足时,可以缩小结论范围,不能靠重新命名划分来扩大结论。

第二步:建立逐样本划分清单

为每个可进入训练或评估的样本保留一行清单。清单可以采用表格或结构化文件,但必须能够从样本反查原始录像、参与者和处理版本。下表是建议字段;示例编号仅用于说明,均为化名编号,不包含真实身份信息。

字段 用途 示例或填写要求
sample_id 唯一样本编号 clip_0042
parent_recording_id 原始连续录像来源 rec_0017,不可留空
driver_id 驾驶员化名组 person_008
participant_ids 相关车内人员化名组 列出驾驶员及纳入隔离范围的其他人员
session_id 采集会话组 session_012,记录会话定义
cabin_id 座舱或车辆配置组 cabin_003,明确编号粒度
start_ms、end_ms 在原始录像内的位置 使用统一时间基准
transform_version 裁剪、增强等派生版本 可追溯处理配置
component_id 多维关联形成的分组 group_006
split 所属数据集 train、validation 或 test

任务类别、遮挡条件和光照等字段有助于检查覆盖情况,但它们不能代替来源标识。多人座舱尤其要记录所有相关参与者:同一乘员可能在一段录像中是驾驶员,在另一段中成为乘客。只保存当前驾驶员编号,会漏掉这种关联。

第三步:先整理来源关系,再提取窗口

从采集记录建立原始连续录像编号,并将转码、抽帧、裁剪、片段提取和增强结果挂在同一个来源下面。连续录像如果因设备限制分成多个文件,应依据采集记录识别它们的连续关系,不能默认“一个文件就是一个独立来源”。

原创流程示意,非实验数据:先追踪来源和关联,再按完整分组划分数据。

建议先给原始录像分配组,再让后续窗口继承分组。对已经切好的数据,应回溯补齐来源关系,然后再划分。在本文的严格新录像留出方案中,同一原始连续录像的所有派生样本都归入同一集合,包括不同分辨率、不同裁剪区域及不同增强版本。文件名改变或增强随机种子不同,都不能证明样本独立。

如果只能拿到片段而无法确认其原始来源,应将来源状态标为未知,并说明不能据此证明训练与测试独立。标注质量检查可配合视频标注质量检查清单(英文),但标注正确与划分独立是两个需要分别验证的问题。

驾驶员监控数据如何防止训练与测试集泄漏 — 来源关系 → 分组划分 → 交叉审计
原创概念示意,非实测数据。逐步核对证据后再扩大数据规模。

第四步:按强制维度构造完整分组

单维度分组时,可以将选定的组编号交给分组划分工具。GroupKFold 官方文档规定同一个组不会跨训练与测试折出现。不过,它只识别传入的组编号,不会自动理解驾驶员、座舱或来源之间的业务关系。

当协议要求多个维度同时不重叠时,我们建议采用关联图程序:每个样本是一个节点;只要两个样本共享任一禁止跨集合的标识,就把它们连接;再把每个连通分量作为不可拆分的组。多人座舱的相关参与者也要参与连接。

不能直接把 driver_id 和 session_id 拼成一个组合编号就结束。例如,示意组合 (person_008, session_012) 与 (person_008, session_019) 不同,却共享驾驶员。关联还会传递:某驾驶员连接两个会话,其中一个会话又连接另一位参与者,这些记录可能需要进入同一分量。

如果出现一个覆盖大部分数据的巨大分量,先核对会话定义和标识是否过宽。若关联真实存在,可能需要补充独立采集,或缩小评估结论。反复随机划分直到分数好看,无法解决结构上的关联。

第五步:审核重叠、缺失项与类别覆盖

对训练、验证、测试三者逐对检查所有强制隔离字段,并单独检查原始录像来源。以下 Python 示例采用训练、验证、测试三者均非空的严格协议,这不是所有项目的通用要求。它审核单值字段及必需列;字段名应按协议调整,读取表格时将每行转为字典。它不处理 participant_ids 列表,多人参与者需先展开,再按同样方式计算集合交集。

from itertools import combinations

def audit(rows, required_fields):
    rows = list(rows)
    splits = ("train", "validation", "test")
    required = {"sample_id", "split", *required_fields}
    issues, seen = [], set()
    values = {f: {s: set() for s in splits} for f in required_fields}
    counts = dict.fromkeys(splits, 0)
    for index, row in enumerate(rows):
        missing = required - row.keys()
        if missing:
            issues.append(("缺少字段", index, sorted(missing)))
        sid, split = row.get("sample_id"), row.get("split")
        if sid is None or not str(sid).strip():
            issues.append(("缺失样本编号", index))
        elif sid in seen:
            issues.append(("重复样本编号", sid))
        else:
            seen.add(sid)
        if split not in splits:
            issues.append(("缺失或未知划分", index, split))
        else:
            counts[split] += 1
        for field in required_fields:
            value = row.get(field)
            if value is None or not str(value).strip():
                issues.append(("缺失标识", index, field))
            elif split in splits:
                values[field][split].add(value)
    for split, count in counts.items():
        if count == 0:
            issues.append(("空集合", split))
    for field, groups in values.items():
        for left, right in combinations(splits, 2):
            overlap = groups[left] & groups[right]
            if overlap:
                issues.append(("跨集合重叠", field, left, right,
                               sorted(overlap, key=str)))
    return issues

import csv

with open("split_manifest.csv", newline="", encoding="utf-8") as source:
    rows = list(csv.DictReader(source))
issues = audit(rows, ["parent_recording_id", "driver_id"])
if issues:
    raise ValueError("划分清单未通过审计")

还应检查重复样本编号、来源时间范围和可疑重复画面。内容相似性检查可以帮助发现遗漏来源,但“没有找到相似画面”不能补足未知的来源记录。

分组完成后再看类别与条件覆盖。如果使用 GroupShuffleSplit,其 test_size 按组数计算,浮点比例会向上取整,并非按样本数计算;多次划分产生的测试集也可能相互重叠。StratifiedGroupKFold会尝试保留类别比例,但少数大组可能使良好分层难以实现。此时应报告覆盖缺口,不能为凑比例拆开必须隔离的组。

第六步:冻结测试集并报告独立性边界

在模型选择前保存最终清单、协议、来源映射和审计记录,为文件计算校验值并标记版本。训练阶段使用训练集拟合归一化、缺失值处理及其他可学习的预处理;使用验证集选择模型、阈值与配置。测试集仅用于既定的最终评估。官方数据泄漏说明也强调,预处理学习不能利用测试数据。

如果根据测试表现调整模型,该测试集便已经参与开发。后续需要如实说明用途,并为新的独立评估准备额外留出数据。新加入的合成样本同样要保留其人物、参考素材和源片段关系;相关差异可参阅合成与真实车内数据指南(英文)。

最终交付应包含:评估协议、逐样本划分清单、来源与分量映射、重叠及缺失项审计记录、冻结版本和测试报告。报告写明隔离了哪些维度、允许哪些重复、各集合的组与样本覆盖,以及未知来源和排除项如何处理。

这些材料让评估结论可以被复查,但独立性检查仅基于已记录的身份与来源信息,划分本身不保证泛化能力或驾驶安全。未覆盖的座舱、人员、摄像头与实际使用条件,仍属于结论边界。可在中文资源库查看相关指南;如需讨论采集与划分要求,可提交数据需求。

官方文档核对日期:2026-10-29。文中字段、编号和流程为建议与示意,不代表客户数据或实验结果。

发布与纠错说明

本文由 VWU.AI 发布,提供建议性的技术流程。已按2026年10月29日可访问的一手文档核对相关说明;文中的流程图、编号和代码为示意,不代表客户结果。可查看关于我们,或提交具体段落与来源以反馈更正。