Orbbec Femto Bolt EGO 双目红外鱼眼相机 + 惯性测量单元
自研 nearest-neighbor 同步算法 | 双目帧时间戳精确配对
ORB-SLAM3 Stereo-Inertial | KannalaBrandt8 鱼眼畸变模型
Hands23 Detector (NeurIPS 2023) — 逐帧手-物体交互状态、抓取类型、接触分类
WiLoR (CVPR 2025) — MANO 21 关键点 3D 手部重建 + 左右手骨骼叠加可视化
HaWoR (CVPR 2025) — 从自我中心视频恢复世界坐标系下的手部 6DoF 运动轨迹，融合 DROID-SLAM 相机定位 + Metric3D 尺度恢复
GPT-4o Vision 关键帧语义理解 — 物体识别、动作分类、空间关系、任务阶段
跨层一致性校验 + 数据集完整性审计 — 67 项自动化检查全部通过
LeRobot v3.0 标准格式 — 2 episodes / 2184 frames / 18 features
| 特征名 | 类型 | 维度 |
|---|---|---|
| observation.images.ego_left | video | 3×1300×1600 |
| observation.images.ego_right | video | 3×1300×1600 |
| observation.state.camera_pose | float32 | 7 |
| observation.state.left_wrist | float32 | 3 |
| observation.state.right_wrist | float32 | 3 |
| observation.state.*_keypoints_3d | float32 | 63 × 2 |
| observation.state.*_contact | int64 | 1 × 2 |
| action.*_wrist_delta | float32 | 3 × 2 |
| action.*_grasp | int64 | 1 × 2 |
basematrix-ego-v1/ ├── meta/ │ ├── info.json # 数据集元信息 │ ├── stats.json # 归一化统计量 │ ├── tasks.parquet # 任务描述 │ └── episodes/ # Episode 元数据 ├── data/ │ └── chunk-000/ │ └── file-000.parquet # 2184 行观测+动作 └── videos/ ├── ego_left/chunk-000/ # 2 × MP4 左目 └── ego_right/chunk-000/ # 2 × MP4 右目
# LeRobot 0.6.1 官方 API 加载测试 from lerobot.datasets.lerobot_dataset import LeRobotDataset ds = LeRobotDataset(repo_id='basematrix/ego-binocular-v1', root='exports/basematrix-ego-v1') # num_frames: 2184, num_episodes: 2, fps: 30 frame = ds[0] # observation.images.ego_left: torch.Size([3, 1300, 1600]) # observation.state.camera_pose: torch.Size([7]) # action.left_wrist_delta: torch.Size([3]) # ... 18 features total ✓
从原始双目采集到具身智能训练数据的完整处理链路