国内外具身智能真实数据集现状

丰富的高质量具身智能数据集

当前具身智能机器人数据多为厂商自采集。当前给人形机器人采集的高质量数据通常在现实世界中获取，采集方式主要有直接接触数 据（真机数据）和间接接触数据（人工控制数据）两种。

最理想的数据采集方式是通过人形机器人本体直接触达物理世界，让其准确 理解真实环境。但是，大规模真机数据的采集成本高昂，需要投入许多人力、物力和时间资源，数据标注和采集设备都存在门槛。与此同时，物理世界的运行规律错综复杂，数据的采集往往难以全面反映所有相关的物理现象与知识。

目前市面上存在丰富的高质量具身智能数据集，具备丰富的演示数量、场景任务和动作技能等。

智元：AgiBot World百万级机器人数据集

智元机器人携手上海人工智能实验室、国家地方共建人形机器人创新中心以及上海库帕思，正式开源Agibot World项目。AgiBot World是全球首个基于全域真实场景、全能硬件平台、全程质量把控的百万真机数据集。AgiBot World数据集中涵盖的场景具备多样化和多元化特点，从抓取、放置、推、拉等基础操作，到搅拌、折叠、熨烫等复杂动作，几乎涵盖了人类日常生活所需的绝大多数场景。

AgiBot World包含来自100个机器人的100多万条演示轨迹。在长程数据规模上已超过谷歌OpenX-Embodiment数据集十倍。相比Google 开源的Open X-Embodiment数据集，AgiBot World长程数据规模高出10倍，场景范围覆盖面扩大100倍，数据质量从实验室级上升到工 业级标准。

技能：AgiBot World数据集涵盖了家居（40%）、餐饮（20%）、工业（20%）、办公室（10%）、超市（10%）等上百种通用场景和 3000多个操作对象。相较于国外广泛使用的Open X-Embodiedment数据集和DROID数据集，AgiBot World数据集在数据时长分布上显著 提升，其中80%的任务均为长程任务，任务时长集中在60s-150s之间，并且包含多个原子技能，长程数据是DROID和OpenX-Embodiment 的10倍以上，3000多种物品基本涵盖了这五大场景。

数据采集：AgiBot World基于全身可控的移动式双臂机器人进行数据采集，配备了视觉触觉传感器、六维力传感器、六自由度灵巧手 等先进设备，可用于模仿学习、多智能体协作等前沿研究。智元Genie-1机器人包括8个环绕式布局的摄像头，实时360度全方位感知； 6自由度灵巧手，末端六维力传感器和高精度触觉传感器；全身拥有32个主动自由度。

谷歌：构建Open X-Embodiment开源数据集

Open X-Embodiment是由谷歌DeepMind联手21家国际知名机构的34个研究实验室，整合60个现有的机器人数据集创建的一个开放的、大规模的标准化机器人学习数据集。Open X-Embodiment Dataset研究人员将不同来源的数据集转换为了统一的数据格式，便于用户下载和使用，每一组数据以一系列 “episode” 呈现，并通过谷歌制定的RLDS格式描述，确保了高度的兼容性和易于理解性。规模涵盖从单臂机器人到双臂机器人，再到四足机器人等22种不同形态的机器人，共包含超过100万条机器人演示轨迹、311个场景、527项技能和160,266项任务。

场景：研究人员在机器人数据混合上训练了两个模型：（1）RT-1，一种专为机器人控制而设计的基于Transformer的高效架构；（2）RT-2，一种大型视觉语言模型，经过共同微调，将机器人动作输出为自然语言标记。两种模型均输出相对于机器人夹持器框架表示的机器人动作。

机器人动作是一个7维向量，由x、y、z、滚动、俯仰、偏航和夹持器张开或这些量的速率组成。对于机器人未使用其中某些维度的数据集，在训练期间将相应维度的值设置为零。将使用机器人数据混合训练的RT-1模型称为RT-1-X，并使用机器人数据混合训练的RT-2模型RT-2-X。

国地共建机器人创新中心：RoBoMind数据集

2024年12月27日，国家地方共建具身智能机器人创新中心与北京大学计算机学院联合推出了一个大规模多构型具身智能数据集和 Benchmark——RoboMind，基于成型标准采集，经多个模型训练验证有效，支持多本体多任务并具备通用性，充分解决了目前全球开 源数据集，量大但数据质量参差不齐、通用性复用性差、部分数据实测效果不理想等问题，有效满足复杂场景具身智能高效率和针对 性的训练。

创新中心发布的RoboMind数据集，采用了包括含单臂机器人、双臂机器人、人形机器人，手臂末端使用夹爪或者灵巧手等多种形态的 机器人本体进行数据采集，包含了涉及279项不同的任务多类场景，涵盖了高达61种不同的物体，覆盖了家居、厨房、工厂、办公、 零售等大部分生活服务场景，对科研突破和场景应用均十分友好。

RoboMind数据集多形态机器人，多场景验证

创新中心持续采集长程复杂任务，目前已经积累数十万条高质量数 据，以真机数据为主，配以仿真遥操作数据。在数据质量与使用价值上，一条数据等同于目前现有数据集的多条存量数据。创新中心 计划首批开源10万条，后续逐步释放，涵盖更多机器人本体和场景任务。

更多行业研究分析请参考思瀚产业研究院官网，同时思瀚产业研究院亦提供行研报告、可研报告（立项审批备案、银行贷款、投资决策、集团上会）、产业规划、园区规划、商业计划书（股权融资、招商合资、内部决策）、专项调研、建筑设计、境外投资报告等相关咨询服务方案。