发布于 2026-11-15 · VWU.AI

Toyota 与 Waymo 扩展合作,车内视觉数据跨市场迁移该检查什么

从 Toyota 与 Waymo 的日本市场计划切入,梳理车内视觉数据跨市场迁移的左右舵、角色映射、相机与车型差异、服饰遮挡和独立评测,说明水平翻转的适用边界。

VWU.AI 车内视觉数据场景示意

车内视觉模型进入新市场,首先需要重新确认“画面中的位置、人物角色和标签含义”是否仍然一致。换一套语言界面、把视频水平翻转,不能直接说明数据已经覆盖新的车内环境。

2026年10月30日,Toyota 与 Waymo 的联合公告提出,计划于2027年在日本开展 Toyota bZ4X 自动驾驶车队的初步测试与验证,随后规划英国及其他市场。这是未来计划,不代表相关服务已在2026年全面落地。下文讨论受此启发的车内视觉数据迁移建议,不描述两家公司的 DMS 实现。

Toyota 与 Waymo 的联合公告

阅读要点

一、先确定迁移的是任务,还是一套车型与相机条件

“驾驶员监控”只是任务名称,不能替代数据规格。原模型可能来自固定镜头、固定座椅布局和某类照明条件;到了新车型,人物在画面中的大小、方向盘遮挡以及镜头观察角度,都需要重新检查。

建议先列出源数据与目标环境的差异,分成必须保持语义一致的字段,以及允许按设备重新配置的字段。疲劳、分心等任务的判定规则应由项目明确;相机位置、曝光和座位布局则应以目标车辆实际条件记录。若任务定义本身改变,就应视为任务变更,不能仅记成一次数据增广。

左右舵与角色:应核查的问题:物理座位、画面区域与驾驶员身份是否分开;建议准备的证据:座位配置和角色映射表。

车型与遮挡:应核查的问题:方向盘、立柱、座椅是否改变关键部位可见性;建议准备的证据:实车视角样本及遮挡说明。

相机与照明:应核查的问题:成像方向、视场和日夜模式是否一致;建议准备的证据:设备配置及对应样本。

人员与服饰:应核查的问题:帽子、眼镜、头部覆盖物是否产生可见性差异;建议准备的证据:按观察条件组织的样本切片。

行为与交互:应核查的问题:中控、后视镜、储物区位置是否改变动作含义;建议准备的证据:任务脚本与目标区域定义。

语言与界面:应核查的问题:场景说明、标签名及导出枚举是否仍然对应;建议准备的证据:术语表和往返导出检查。

这张表用于发现证据缺口,不代表每个市场都具有某种固定人群特征。应以计划服务的真实用户和车辆为依据,避免用国籍、地区或外貌代替具体的观察条件。

二、把物理位置、画面位置和角色拆开存储

建议至少区分三个概念:人物坐在哪个物理座位、出现在图像哪个区域、承担什么角色。“画面左侧的人”不是一个稳定的驾驶员定义。镜头的朝向、是否镜像显示和不同座舱布局,都需要在映射中说明。

例如,可将物理座位记为车辆坐标中的前排左或前排右,再单独配置该车型的驾驶员座位。导出标签时通过配置确定角色,而不是在标注脚本中硬编码“左边就是驾驶员”。对于视线区域,也应先定义实际目标,例如道路、仪表和中控,再记录目标在具体车型中的位置。

处理多摄像头数据时,角色映射还应跨镜头保持一致,避免同一个人在不同视角中被分成不同角色。可以结合车内多视角视频同步与验收方法,将时间对应关系和人物对应关系一起抽查,但两者应分别记录结果。

车内多视角视频同步与验收方法

三、水平翻转能做什么,哪些含义需要重算

水平翻转可以作为受控的数据变换,用来检查模型对部分画面变化的敏感性。是否纳入训练,取决于变换后是否仍符合目标任务。建议先定义标签随图像变化的规则,再对翻转样本单独验收。

翻转可能涉及图像中的左右区域、手部方向、文字方向以及目标区域的映射。若只翻转视频却保留原注释,标签可能不再对应画面。即使图像与标签都按规则变换,座舱物理结构和真实用户动作仍需用目标环境样本确认,不能把变换规则当成真实域证据。

尤其不应只看全体准确率。模型可能在常见动作上保持表现,却在某一遮挡视角或特定目标区域上退化。建议把翻转增广作为单独实验因素,记录它改善和损害了哪些切片,再决定是否保留。

四、一个假设例子:源域的“看中控”怎样迁移

以下为编辑设计的验收例子,不代表任何厂商实际数据或效果。假设源域是一辆左舵车,摄像头偏向驾驶员一侧,任务为识别驾驶员是否看向中控屏。目标域是一辆右舵车,同时更换了相机位置。

团队先用实际布局重新画出中控区域,确认“看中控”的任务定义保持一致。接着采集目标域的小批真实样本,覆盖看道路、看仪表、看中控和头部转动但视线不可判定等情形。标注员按目标区域和可见证据判断,不能从源域的头部转向规则直接复制标签。

第一轮评测分别报告源域和目标域结果。若目标域的错误集中在方向盘遮挡下的眼部不可见片段,应先处理可见性与标签规则,而不是把所有错误归因于“右舵”。如果只有更换相机后出现问题,则需要继续区分视角变化与舵位变化,避免同时改变多个条件后无法解释结果。

随后可进行受控比较:只加入翻转增广、只加入目标域真实样本、按项目需要组合使用。训练预算、模型版本和评测集保持可比,记录每种方案对关键切片的影响。本文不预设哪种方案更优,真实评测才是结论依据。

五、服饰、语言和交互习惯应变成具体观察条件

与视觉任务相关的差异,应描述成可记录的成像或行为条件。例如眼镜反光、头部覆盖物对眼部的遮挡、衣物与座椅背景的颜色接近,都是可以抽样与复核的属性。不要直接把“某地区用户”当成一个解释错误的标签。

动作也需要情境。伸手方向可能随中控布局改变,但不能据此推定不同市场用户必然怎样操作。建议以目标车型可发生的正常动作、易混淆动作和任务外动作组织脚本,再在真实采集或经审核的模拟场景中验证。

多语言文档需要核对枚举值和判定边界,而不只是翻译显示文字。特别是动作开始、结束、未完成和不可判定等状态,应保留一致定义,必要时参考车内行为时间边界与争议处理指南设计双人复核。

车内行为时间边界与争议处理指南

六、用独立目标域测试集决定是否进入下一阶段

建议将跨市场数据验收按以下顺序推进:

1、冻结任务与映射。 明确车型、相机、角色、目标区域及标签版本,列出尚未验证的条件。 2、采集小批真实证据。 先覆盖目标域的关键差异和不可判定情形,检查采集和标注规则能否执行。 3、隔离评测。 按人员、车辆、采集会话和场景家族检查独立性,避免同源片段进入训练与测试。 4、检查关键切片。 分别查看舵位、相机配置、遮挡、照明和任务类别,保留样本量与错误示例。 5、受控补数并复验。 对已确认的缺口补充数据,保持独立测试集不被用于反复挑选训练样本。

评测隔离可参照驾驶监控训练与测试泄漏审计方法。样本不足的切片应明确标为证据不足,不能因没有观察到错误就写成已经覆盖。

驾驶监控训练与测试泄漏审计方法

涉及人员视频时,还应在采集前明确用途、授权范围、保留期限和访问边界,并由项目结合所在地要求完成必要审核。本文不提供具体法域的法律结论,也不因新闻中的合作计划推定任何数据可自由复用。

跨市场迁移的交付结论应写清已验证的车辆、设备、人员条件和任务范围。把差异变成可复核字段,把未知保留下来,后续扩展到下一车型或新市场时,才能知道哪些证据可以沿用,哪些需要重新取得。