跳到正文
新浪科技·· 11 天前AI 評分51

智元機器人發布 WITA-Omni 全模態端到端互動大模型

号称行业首个具身全模态端到端交互大模型!智元机器人发布WITA-Omni

AI 導讀

智元機器人發布 WITA-Omni(硅光動語全模態大模型),主打以機器人本體感知數據訓練的全模態端到端互動。模型採用流式全雙工架構,支援觸覺、本體狀態輸入,以及機器人動作、表情輸出;官方稱最快響應約 400 毫秒,平均約 600 毫秒,較業內平均水平快近 3 倍。它亦支援上百種語言和方言免切換交流,以及流式同聲傳譯和雙向互譯。

正文

快科技11月10日消息,智元机器人今日宣布,正式发布WITA-Omni(硅光动语全模态大模型)。

官方称,该模型是行业首个具身全模态端到端交互大模型,旨在让机器人拥有真正面向物理世界的“交互大脑”。

与传统主要依赖音视频信息进行交互的模型不同,WITA-Omni基于机器人本体感知数据深度训练,不仅支持音视频输入输出,还新增了触觉、本体状态等输入,以及机器人动作、表情等输出,让机器人能够更加全面地感知环境并与人类交流。

在交互效率方面,WITA-Omni采用流式全双工架构,可以实现边听、边思考、边回应、边行动,打破传统串行处理模式带来的等待。

官方数据显示,该模型交互响应最快约400毫秒,平均约600毫秒,较业内平均水平快近3倍。

值得一提的是,WITA-Omni还实现了全模态拒识能力,机器人不再需要依赖唤醒词即可进行自然对话。

系统能够综合对话朝向、视频、音频、声纹、唇动、姿态、语义及上下文等信息,判断当前发言是否需要回应,在多人交谈、环境广播等场景下,也能有效降低误触发。

语言交流方面,WITA-Omni支持上百种语言和方言免切换交流,并结合全双工架构,实现语言及方言的流式同声传译和双向互译。

此外,该模型还强化了机器人的情感表达能力。通过面部表情、语音和肢体动作协同,机器人能够呈现开心、惊讶、悲伤、激动、自信等数十种情绪,并支持不同程度的情绪表达。例如,同样是开心,既可以浅浅一笑,也可以开怀大笑。

除了听、说、看、动,WITA-Omni还具备实时可视化能力,可以根据交流内容,将复杂产品信息或科普知识直接呈现在机器人面部屏幕上。

更进一步,机器人还能够持续感知周围环境和用户状态,在适当时机主动发起互动,例如主动欢迎贵宾、回应用户点赞,或挥手告别。

【本文结束】如需转载请务必注明出处:快科技

责任编辑:哈尔

新浪众测 新浪众测

新浪科技公众号

新浪科技公众号

“掌”握科技鲜闻 (微信搜索techsina或扫描左侧二维码关注)

科学大家

新浪科技

新浪科技为你带来最新鲜的科技资讯

苹果汇

苹果汇为你带来最新鲜的苹果产品新闻

新浪众测

新酷产品第一时间免费试玩

新浪探索

提供最新的科学家新闻,精彩的震撼图片

來源:新浪科技 · finance.sina.com.cn