跳到正文
新浪科技·· 2 小時前AI 評分51

Intel 鋭炫 B580 更換推理引擎後,AI 模型生成速度實測快近 3 倍

只需换个软件:Intel锐炫B580跑AI实测快了3倍!

AI 導讀

PC Watch 測試顯示,Intel 鋭炫 B580 12GB 在同一電腦上改用 XeStrata 後,運行 1250 億參數模型的文字生成速度達 31.1 tokens/s,較 Strata 的 10.9 tokens/s 快近 3 倍。

正文

快科技10月27日消息,Intel锐炫B580 12GB显卡在运行1250亿参数AI模型时,使用开源推理引擎XeStrata达到每秒31.1 tokens,相比原版Strata的10.9 tokens/s快近3倍,且未更换硬件。

PC Watch测试用的是华擎B580 挑战者12GB OC显卡,搭配酷睿Ultra 5 250KF Plus处理器和64GB DDR5内存,系统为Ubuntu 26.04 LTS。模型为Qwen3.8-Flash-Next,采用IQ3_S量化、64K上下文和8位KV缓存。

12GB显存自然装不下整个125B模型,Strata和XeStrata都支持同时调用GPU和系统内存,本次量化配置需要约50GB系统内存,也就是64GB内存是能跑通的前提。

XeStrata是Strata的衍生分支,针对支持的GPU架构做了额外优化,包括用Intel GPU的XMX矩阵硬件跑部分运算。测试使用Strata 0.2.1和XeStrata 0.1.43-2 Ubuntu包,同一模型同一配置下对比。

不过速度差异中多少来自哪项优化无法逐一确认,结果只是同一电脑上两套软件配置的对比,不能说明某项技术贡献了全部提升。测试也仅涉及文本生成吞吐量,不代表提示词处理、响应延迟或模型精度也有同等提升。

31.1 tokens/s的速度虽然可观,但运行大模型依然吃力,PC Watch认为B580扛不住更重的智能体类工作负载,这类场景需要更强GPU、更多显存和更长上下文窗口。

同一硬件上换一套推理引擎,生成速度差了一大截,对于本地跑大语言模型的用户,软件选择和显存、系统内存一样重要。

【本文结束】如需转载请务必注明出处:快科技

责任编辑:黑白

新浪众测 新浪众测

新浪科技公众号

新浪科技公众号

“掌”握科技鲜闻 (微信搜索techsina或扫描左侧二维码关注)

科学大家

新浪科技

新浪科技为你带来最新鲜的科技资讯

苹果汇

苹果汇为你带来最新鲜的苹果产品新闻

新浪众测

新酷产品第一时间免费试玩

新浪探索

提供最新的科学家新闻,精彩的震撼图片

來源:新浪科技 · finance.sina.com.cn