EgoVerse公开联盟成员,含136小时第一视角操作数据

由李飞飞学生Danfei Xu发起的EgoVerse项目公布联盟成员,光轮智能成为唯一一家中国企业。项目旨在建立第一视角人类操作数据标准,当前包含136小时人类操作视频数据。

7月24日,由李飞飞学生Danfei Xu(现任佐治亚理工学院助理教授)发起的EgoVerse项目正式公开联盟成员。该联盟包括佐治亚理工学院、斯坦福大学、苏黎世联邦理工学院(ETH Zurich)、加州大学圣地亚哥分校(UC San Diego)等学术机构,以及Meta、Scale AI、光轮智能、Mecka AI、MicroAGI、Trace Labs等企业。其中,光轮智能是唯一一家中国公司。EgoVerse旨在建立一套可扩展的第一视角人类操作数据生态与标准,其公开版本包含约136小时的人类第一视角操作视频数据。

EgoVerse的背景与挑战

机器人学习面临的核心矛盾是高质量训练数据的获取成本极高。目前主流方法依赖真机遥操作采集演示,每增加一条数据都需要机器人硬件、操作员和场景布置,难以大规模扩展。相比之下,人类每天完成大量操作任务,这些行为天然包含视觉、触觉和任务规划信息,若能高效记录下来,可为机器人提供更丰富的学习素材。

Danfei Xu在斯坦福大学攻读博士期间由李飞飞和Silvio Savarese共同指导,其研究方向是如何让机器人从人类演示中学习技能,并跨任务、跨环境、跨本体迁移。EgoVerse正是这一研究方向的系统性成果。它不再是一个静态数据集,而是一套活的协作框架——不同机构可在统一的数据格式、动作标签和空间坐标系下持续贡献和共享数据。

EgoVerse强调第一人称视角拍摄,记录操作者手部与物体的精细交互,同时包含场景语义和任务描述。这使得收集的数据不仅能用于单一机器人,还能泛化到不同形态的机器人本体。项目初期数据覆盖厨房、桌面、修理等常见生活场景,合计超过136小时的连续视频。

联盟成员与光轮智能的角色

EgoVerse的联盟成员覆盖产学研多个层级。学术方面有佐治亚理工、斯坦福、ETH Zurich和UC San Diego等一线实验室;工业伙伴包括Meta、Scale AI、光轮智能、Mecka AI等。这些机构分别承担数据采集、标注工具、模型训练和标准推广等角色。

光轮智能是联盟中唯一一家中国企业,此前主要从事自动驾驶领域的仿真数据合成与具身智能仿真平台。此次参与人类操作数据标准制定,意味着其数据业务从自动驾驶向通用机器人延伸。光轮智能的加入也有助于将中国在数据合成与仿真方面的经验融入全球标准。

从更广的视角看,EgoVerse的发起让人联想到2009年的ImageNet。后者通过统一的数据集和评测任务,推动了深度学习在视觉领域的爆发。EgoVerse试图为具身智能领域提供类似的公共基础设施,使不同团队能在同一标准下训练和比较机器人学习算法,加速技术迭代。目前该项目已开放数据申请,未来计划涵盖更多操作场景和语言指令,并引入在线评测平台。



微信扫描下方的二维码阅读本文

EgoVerse公开联盟成员,含136小时第一视角操作数据 - Danfei Xu, EgoVerse, 人类操作数据, 光轮智能, 具身智能, 数据标准, 机器人学习, 第一视角数据

发表回复