MicroAGI 推出 PB 級機械人數據分發平台

10月28日消息，近日，德国具身 AI 初创公司 MicroAGI 对外公开自研海量机器人训练数据交付平台，采用两跳中转架构，可实现每日拍字节（Petabyte）级多模态机器人数据分发，能够将百万小时级视频、深度、姿态数据集投递至任意兼容 S3 协议的对象存储，解决机器人学习场景下数据集体量庞大、客户训练云环境分散的现实痛点。

机器人训练数据集动辄数百万文件、数 PB 规模，不同团队分别使用 AWS、GCP、Azure、Cloudflare R2、Hugging Face 等不同存储服务。平台确立三条核心设计原则：兼容几乎所有 S3 类对象存储后端；多租户任务之间互不抢占带宽资源；全程不共享客户密钥，访问权限严格绑定单次交付任务。

整套链路分为第一跳：源存储到 Hugging Face 中转存储、第二跳：中转存储推送到客户目标业务存储。

第一跳将原始数据统一暂存至 Hugging Face Bucket 作为中立中转层。相同数据集可被多次复用，源数据仅读取一次即可反复分发给不同客户、不同地域。底层依托 Xet 内容寻址分块存储，内容重复的文件直接复用已有分块，大幅降低网络传输量。

测试中一套 239GB 数据集，增量更新仅需传输 2.6MB；一次任务存入 122TB 数据，实际跨网络仅传输约五分之一流量，3.1 小时即可完成暂存。该阶段具备追加写入、断点续传、逐文件校验能力，可横向增加 Worker 提升吞吐，整条管线整体吞吐可达每小时 40TB。

团队也披露工程踩坑经验：海量小文件场景瓶颈不在带宽而在元数据查询；移除前置缓存避免重复读取源文件；同时协同 Hugging Face Xet 团队修复了大提交卡死、统计字节计数异常等客户端 Bug。

第二跳基于 Cloudflare Workers + Queues 构建分发集群，从中转存储拉取数据推送到客户自有存储，消息仅传递预签名 URL，全程不传递客户凭据。系统按 100MB 阈值区分大小文件：小文件单请求完成读写；大文件拆分为分片，分片任务独立入队，分散到大量 Worker 实例并行分片上传，不需要中心协调服务，依靠对象存储原生的分片上传机制完成合并。

经过分片改造后，单文件传输性能提升约 100 倍，链路峰值吞吐达到 59TB / 小时，支持最高 25000 路并发传输。Cloudflare Workers 按计算时长计费，不计流出流量，完成 PB 级数据传输整体成本仅约 500 美元。工程实践发现，队列自动扩缩容会受报错率影响，未捕获异常会限制并发上限；同时 Worker 存在同时等待请求数量限制，需要对大文件做分片打散。

平台具备完整端到端校验机制：数据携带源端校验和，写入目标存储时做校验拦截损坏数据；队列清空不等于交付完成，会对比源与目标桶全量文件清单，缺失文件从中转存储定向重传，保证交付完整性。

MicroAGI 还在配套开发数据集浏览器 Viewer，用户无需下载，可直接流式浏览中转存储内的机器人录制样本，同步查看视频、深度图、姿态信息，方便研发人员快速理解 PB 级数据集内容，该工具部分功能已经可用。

该平台面向具身智能行业，解决机器人多模态训练数据分发难题，让大规模录制数据可以直接落地到各家企业自己的训练云环境。