发布于 2026-11-06 · VWU.AI

视觉语言模型的驾驶员视线区域标注:让回答对应车内位置

视觉语言模型的驾驶员视线区域标注:让回答对应车内位置 — 定义区域 → 检查眼部证据 → 允许拒答
原创概念示意,非实测数据。逐步核对证据后再扩大数据规模。

为车内视觉语言模型建立视线区域词表、位置依据和无法判定规则,避免把头部方向、视线目标与认知状态混为一谈。

视觉语言模型回答“司机在看哪里”,需要一个预先定义的区域词表,以及支持该判断的可见证据。自由描述听起来合理,不代表视线定位正确。建议把区域定义、标注依据和无法判定规则一起交付,再检查模型的文字回答能否稳定映射到相同位置。

先定义区域,再写自然语言

区域应对应当前车辆的可检查位置,例如前方道路、仪表区域、中控区域和后视镜区域。这里仅为示例,不是所有车型通用的标准分区。左右舵、相机位置和车内布局变化后,区域定义与示例图需要重新确认。

每个区域建议保留稳定编号、中文名称、英文名称、位置说明及边界例子。“向左看”可能指图像左侧、司机左侧或车辆左侧,不能不加说明直接用作训练标签。跨语言版本也应保留相同区域编号,避免翻译改变空间含义。

分开视线、头部方向与认知判断

头部朝向是一个可见线索,但不能等同于眼睛朝向。即使视线区域可判断,仍不能仅凭一个区域标签断言驾驶员正在认知分心、已经疲劳或没有注意道路。标签应表达画面支持的范围,不从观察结果跳到无法核验的心理状态。

建议将回答分成三个独立字段:区域标签、证据描述、是否可判定。例如,“头部朝向中控,但眼睛被遮挡”应保留不确定性,而不是自动标注“正在看中控”。这个例子是规则说明,不是真实测试结果。

遮挡条件必须进入标注规则

SynDD2 研究在静止车辆中采集了分心活动和视线区域,并包含帽子、太阳镜等外观遮挡条件。它说明区域与外观条件值得分别记录,但静止车辆数据不能直接代表全部道路驾驶表现。其名称中的 synthetic 也不能被误读为所有图像均由生成模型制作。

SynDD2 研究原文

建议标注员区分眼部不可见、目标区域不在可辨识范围,以及区域边界无法区分。不要把这些情况统一塞入“其他”而丢失原因。复核时保留原始判断与裁决理由,便于后续修订规则。

视觉语言模型的驾驶员视线区域标注:让回答对应车内位置 — 定义区域 → 检查眼部证据 → 允许拒答
原创概念示意,非实测数据。逐步核对证据后再扩大数据规模。

用受约束回答检查语义落地

同一批问题可以要求模型先返回区域编号,再给出简短依据。评测时先检查是否属于合法词表,再检查编号是否正确,最后检查解释是否与画面一致。合法格式并不等于答案正确,解释流畅也不能抵消错误位置。

建议设置固定问题和改写问题两组,观察“后视镜区域”被改写成“镜子位置”后是否改变答案。对模型无法看见的证据,要接受明确的无法判定,而不是通过提示词暗示一个必选答案。

评估范围不要超出研究支持

2026 年驾驶员活动描述研究将细粒度行为描述作为视觉语言模型的专门任务。它为任务化测试提供参考,但活动描述结果不能直接用作视线区域精度,也不能替代本项目的人工作业说明。

驾驶员活动描述研究

建议分别记录区域判断、证据正确性和不确定性处理,不用一个“文字相似度”分数概括所有问题。两句话可能措辞不同却指向同一区域,也可能用词相似却指向车辆两侧不同位置。

采购时要求可复核的区域包

建议交付区域示意图、词表版本、方向约定、遮挡规则、边界样本及模型输入版本。先做双人独立标注,再讨论分歧是否来自规则本身;若规则未定,不应通过简单多数票掩盖问题。最终门槛由项目团队预先商定。

驾驶员与乘员监控训练数据

车内分心标注指南

编写说明与延伸阅读

本文由 VWU.AI 编辑团队依据公开研究和官方文档编写,供训练数据规划与采购参考。文中流程为建议,不代表已完成的模型测试或客户项目。

查看训练数据采购与验收文章