初出 2026-11-12 · VWU.AI

Isekai3Dから考える対応付き視覚データ:視点・深度・動作をそろえる方法

時間、カメラ幾何、物体ID、動作ラベルを分けて確認し、対応付きデータを検収します。

記事の参考画像

2026年10月26日公開のIsekai3D SDGの研究ページでは、Unreal Engineのゲーム内シミュレーションを記録・再生し、複数視点からRGB、深度、法線、インスタンスID、同期したカメラ・キャラクター・動作情報を収集する方法が紹介されています。以下はこの研究を参考にした検収手順です。

出典(英語)

何の一致を保証するか決める

実行ID、イベントと時計、カメラ校正、出力フレームID、深度の定義、物体ID、動作ラベルの版を記録します。時間、幾何、同一性、動作の条件を分けます。

短く再確認できるイベントを選ぶ

段階が明確な動作を選び、前後と途中の対応フレームを集めます。別の確認者が追試できるよう、ファイルとメタデータをサンプル表にまとめます。

時間の次にカメラ幾何を確認する

時刻、フレーム番号、サンプリング、欠落を確認します。その後、複数視点に映る点で内部・外部パラメータ、単位、深度の定義と投影を検証します。時間ずれと座標変換の誤りは似た症状を示します。

物体ID、可視性、動作を分ける

一方のカメラで見えなくても、同じ物体には同じIDを維持できます。遮蔽は別項目にします。動作指示、見える動き、確認できた結果も分けます。

カップが消える仮想例

カメラAではカップがトレーに移り、カメラBのRGBでは一時的に消える一方、深度には輪郭があるとします。まず時刻の組み合わせを確認し、次に投影、遮蔽、マスク、描画パスを点検します。原因を切り分けてから除外を判断します。

バッチ全体に検査を広げる

欠損項目、未対応フレーム、不正な深度、IDの衝突を自動検査します。難しい動作と遮蔽は人が確認します。同じ実行を再生した派生データは、学習と評価の分割をまたがせません。

タスクに有効かを別に評価する

対応が正しいことを確認したうえで、独立した実データを使って対象モデルへの有用性を調べ、境界条件の結果を分けて報告します。

関連ガイド