跳到正文
新浪科技·· 12 天前AI 評分50

諾亦騰開放 HiPHI-Hand 手部動捕數據集,已用於訓練英偉達 EgoHand

诺亦腾机器人开放HiPHI-Hand手部动捕数据集,已用于训练英伟达EgoHand

AI 導讀

諾亦騰在 Hugging Face 公開發布 HiPHI-Hand 手部動作捕捉數據集,該數據集已用於訓練英偉達的 3D 手部重建模型 EgoHand。EgoHand 使用 1400 萬張圖像訓練,單幀推理延遲約 9 毫秒,並以 OpenMDW 許可發佈,允許免費商用。HiPHI-Hand 數據集以 ModalityNet 開放研究許可 v1.0 發佈,可免費用於非商業科學研究、教育和評估。

正文

  新浪科技讯 11月10日中午消息,具身数据公司诺亦腾机器人(Noitom Robotics)宣布在Hugging Face公开发布高精度手部动作捕捉数据集HiPHI-Hand,该数据集已用于训练英伟达的3D手部重建模型EgoHand。

  据诺亦腾方面介绍,EgoHand基于NVIDIA Isaac Capture框架构建,仅需单目摄像头拍摄的第一人称视角视频,即可还原手部三维姿态与形状,模型以OpenMDW许可发布、允许免费商用。英伟达方面称,该模型使用1400万张图像训练,素材来自合成数据、真实场景视频及多摄像头动捕真值数据,在公开的第一人称视角基准测试中零样本精度达到当前SOTA水平,单帧推理延迟约9毫秒。

  数据采集环节,团队在数采员手指上布置微型标记点,用光学动作捕捉系统记录人手与物体的交互过程,并与SOL头戴设备拍摄的第一视角视频同步。诺亦腾表示,即使手部在画面中受到遮挡,光学追踪系统仍可提供亚毫米级精度的三维手部真值;英伟达随后将这批数据处理为SOMA-Hand表征,作为EgoHand的真实世界训练数据来源之一。

  此次公开的数据与交付英伟达的数据一致,包括11小时同步采集的双目鱼眼相机第一人称视频、以头戴设备IMU为参照的相机外参,以及通过光学动捕获得的三维手部位姿。数据集沿用ModalityNet开放研究许可v1.0发布,可免费用于非商业的科学研究、教育和评估。2026年8月,该公司已在Hugging Face发布记录全身动作与人 - 物交互的HiPHI数据集。

海量资讯、精准解读,尽在新浪财经APP

责任编辑:黄诗涵

VIP课程推荐

加载中...

APP专享直播

1/10

热门推荐

收起

新浪财经公众号

新浪财经公众号

24小时滚动播报最新的财经资讯和视频,更多粉丝福利扫描二维码关注(sinafinance)

來源:新浪科技 · finance.sina.com.cn