Viggle 發佈 JST‑2 Motion，支援文本生成及影片重建全身 3D 動作

（文/杨亮）10月28日消息，近日，物理原生世界模型公司 Viggle 公开 JST‑2 Motion 技术细节，作为 JST‑2 世界模型配套的全身 3D 动作生成模块，同时支持文本生成动作与视频重建 3D 人体运动，生成结果可直接适配 JST‑2 角色，无需额外动作重定向，原生兼容行业标准 3D 角色骨骼，面向动画、游戏、具身 AI 训练等场景。

JST‑2 Motion 具备两大核心能力。文本转全身动作，输入自然语言描述即可输出完整人体运动，艺术家不用再手动调关键帧或者从动作库筛选素材，AI 智能体也可以直接输出文本指令生成动作。

视频转 3D 动作重建，不仅还原画面可见肢体运动，还依靠学习到的人体动力学，推理被遮挡的身体部位姿态；视频素材不需要人物正对镜头，侧面、局部遮挡画面均可处理，能够降低动捕成本，同时为具身 AI 供给大量人体运动训练数据。

研究采用盲测人工评估方案，统一使用无纹理 MetaHuman 骨骼展示动作，排除角色外观干扰。文本转动作对比 HY‑Motion‑1.0、Cartwheel Swing 两大基线，测试覆盖日常移动、手势交互、格斗特技、舞蹈表演八大类场景；在手势、舞蹈类动作表现尤为突出，指令遵循度、足部接地、动作流畅度综合占优。对比 Cartwheel Swing 综合得分 74.8%，对比 HY‑Motion‑1.0 综合得分达到 80.0%。

视频转动作任务对标 DeepMotion Animate 3D、Cartwheel Comic 4，测试素材包含运动竞技、健身、日常社交、游戏角色动作等真实实拍片段。模型可以保留原始视频的节奏、速度变化，还原手指等肢体末端精细运动。和 DeepMotion Animate 3D 相比综合得分 89.1%，手部跟踪指标表现亮眼。

论文同时坦诚当前技术短板：高速强周期性动作仍有提升空间；脚部落地、抬升时存在轻微滑动；部分高速体育素材上对比竞品 Cartwheel Comic 4 仍有差距；提示词对运动方向、动作过渡、节奏的可控性有待加强。

目前 JST‑2 体系内角色运动依靠学习动力学，但是场景碰撞、物体交互还依赖规则物理。Viggle 披露下一代 JST‑3 规划，计划用学习式动力学全面替代规则方案，实现物体交互与世界状态变化的端到端预测。