VOOZH about

URL: https://huggingface.co/datasets/robbyant/mdm_depth

โ‡ฑ robbyant/mdm_depth ยท Datasets at Hugging Face


Dataset Viewer

LingBot-Depth Dataset

Self-curated RGB-D dataset for training LingBot-Depth, a masked depth modeling approach (arxiv:2601.17895). Each sample contains an RGB image, raw sensor depth, and ground truth depth.

๐Ÿ‘ teaser

Total size: 2.71 TB
Depth scale: millimeters (mm), stored as 16-bit PNG
License: CC BY-NC-SA 4.0


Sub-datasets

Name Description Samples
RobbyReal Real-world indoor scenes captured with multiple RGB-D cameras 1,400,000
RobbyVla Real-world data collected during VLA (Vision-Language-Action) robot manipulation tasks 580,960
RobbySim Simulated data rendered from two camera viewpoints 999,264
RobbySimVal Validation split of simulated data 38,976
Total 3,019,200

Directory Structure

RobbyReal

RobbyReal/
โ””โ”€โ”€ <scene_id>/ # e.g. 00001_01_room
 โ”œโ”€โ”€ orbbec_335_<seq>/
 โ”‚ โ”œโ”€โ”€ color/ # RGB images
 โ”‚ โ”œโ”€โ”€ gtdepth/ # Ground truth depth
 โ”‚ โ”œโ”€โ”€ rawdepth/ # Raw sensor depth
 โ”‚ โ””โ”€โ”€ intrinsic.txt
 โ”œโ”€โ”€ orbbec_335L_<seq>/
 โ”‚ โ”œโ”€โ”€ color/
 โ”‚ โ”œโ”€โ”€ gtdepth/
 โ”‚ โ”œโ”€โ”€ rawdepth/
 โ”‚ โ””โ”€โ”€ intrinsic.txt
 โ”œโ”€โ”€ realsense_D415_<seq>/
 โ”‚ โ”œโ”€โ”€ color/
 โ”‚ โ”œโ”€โ”€ gtdepth/
 โ”‚ โ”œโ”€โ”€ rawdepth/
 โ”‚ โ””โ”€โ”€ intrinsic.txt
 โ”œโ”€โ”€ realsense_D435_<seq>/
 โ”‚ โ”œโ”€โ”€ color/
 โ”‚ โ”œโ”€โ”€ gtdepth/
 โ”‚ โ”œโ”€โ”€ rawdepth/
 โ”‚ โ””โ”€โ”€ intrinsic.txt
 โ””โ”€โ”€ realsense_D455_<seq>/
 โ”œโ”€โ”€ color/
 โ”œโ”€โ”€ gtdepth/
 โ”œโ”€โ”€ rawdepth/
 โ””โ”€โ”€ intrinsic.txt

RobbyVla

Data collected during VLA robot manipulation tasks on two robot platforms.

RobbyVla/
โ”œโ”€โ”€ franka/ # Franka robot arm
โ”‚ โ””โ”€โ”€ <seq>/
โ”‚ โ”œโ”€โ”€ left_realsense405/
โ”‚ โ”‚ โ”œโ”€โ”€ color/
โ”‚ โ”‚ โ”œโ”€โ”€ gtdepth/
โ”‚ โ”‚ โ”œโ”€โ”€ rawdepth/
โ”‚ โ”‚ โ””โ”€โ”€ intrinsic.txt
โ”‚ โ””โ”€โ”€ right_realsense405/
โ”‚ โ”œโ”€โ”€ color/
โ”‚ โ”œโ”€โ”€ gtdepth/
โ”‚ โ”œโ”€โ”€ rawdepth/
โ”‚ โ””โ”€โ”€ intrinsic.txt
โ””โ”€โ”€ ur7e/ # UR7e robot arm
 โ””โ”€โ”€ <seq>/
 โ”œโ”€โ”€ left_realsense405/
 โ”‚ โ”œโ”€โ”€ color/
 โ”‚ โ”œโ”€โ”€ gtdepth/
 โ”‚ โ”œโ”€โ”€ rawdepth/
 โ”‚ โ””โ”€โ”€ intrinsic.txt
 โ””โ”€โ”€ right_realsense405/
 โ”œโ”€โ”€ color/
 โ”œโ”€โ”€ gtdepth/
 โ”œโ”€โ”€ rawdepth/
 โ””โ”€โ”€ intrinsic.txt

RobbySim

Simulated data rendered from two camera viewpoints: object_view and rrt_view.

RobbySim/
โ”œโ”€โ”€ intrinsics.txt
โ”œโ”€โ”€ object_view/
โ”‚ โ””โ”€โ”€ <scene_id>/<cam_id>/ # e.g. xxxx/00, xxxx/01
โ”‚ โ”œโ”€โ”€ 0001_cam0_left.jpg # RGB image
โ”‚ โ”œโ”€โ”€ 0001_cam0_depth.png # Ground truth depth
โ”‚ โ””โ”€โ”€ 0001_cam0_rmd2c.png # Raw depth
โ””โ”€โ”€ rrt_view/
 โ””โ”€โ”€ <scene_id>/<cam_id>/
 โ”œโ”€โ”€ 0001_cam0_left.jpg
 โ”œโ”€โ”€ 0001_cam0_depth.png
 โ””โ”€โ”€ 0001_cam0_rmd2c.png

RobbySimVal

Validation split of simulated data.

RobbySimVal/
โ””โ”€โ”€ val_view/
 โ””โ”€โ”€ <scene_id>/<cam_id>/ # e.g. xxxx/00, xxxx/01
 โ”œโ”€โ”€ intrinsics.txt
 โ”œโ”€โ”€ 0001_cam0_rgb.left.jpg # RGB image
 โ”œโ”€โ”€ 0001_cam0_depth_left.png # Ground truth depth
 โ””โ”€โ”€ 0001_cam0_rawdepth.left.png # Raw depth

File Description

File/Folder Description
color/ / *_rgb*.jpg RGB images
gtdepth/ / *_depth*.png Ground truth depth maps (16-bit PNG, unit: mm)
rawdepth/ / *_rawdepth*.png / *_rmd2c*.png Raw depth from sensor before post-processing (16-bit PNG, unit: mm)
intrinsic.txt / intrinsics.txt Camera intrinsic parameters
Downloads last month
2,405

Collection including robbyant/mdm_depth

Paper for robbyant/mdm_depth