跳到正文
新浪科技·· 12 天前AI 評分46

Arduino Ventuno Q 實測運行 7440 億參數 GLM-5.3:7 分鐘才生成 3 個詞

16GB内存跑7440亿模型有多慢!Arduino实测:7分钟才出3个词

AI 導讀

開發者 Jim Bruges 在配備 16GB 內存的 Arduino Ventuno Q 上運行 7440 億參數、419GB 的 GLM-5.3,約 7 分鐘才生成地球、火星、金星三個詞。模型生成速度僅為 0.03 Token/s,測試全程由 CPU 推理,SSD 讀寫速度成為效率瓶頸。

正文

快科技11月10日消息,将拥有7440亿参数的顶级AI大模型跑在一块Arduino开发板上会怎样?

近日开发者Jim Bruges完成了一项看似不可能的挑战:他在仅有16GB内存的单板电脑上,成功运行了数据量高达419GB的GLM-5.3大模型。

本次挑战所使用的硬件是Arduino Ventuno Q,虽然名为Arduino,但其搭载了高通Dragonwing IQ8处理器,拥有8颗核心,并配备了16GB LPDDR5内存以及1TB的NVMe固态硬盘。

要让16GB内存强行吃下26倍于自身容量的模型数据,核心秘密在于GLM-5.3的MoE架构。混合专家模型通过路由机制,在每次推理时仅激活少部分专家权重,而无需调用全部7440亿参数。

配合开源工具Colibri,系统可以将暂不使用的权重存放在固态硬盘中,仅在需要时进行实时置换。

实测结果虽然成功,但效率令人汗颜。在回答请列举三个行星的简单测试中,系统耗时约7分钟才吐出地球、火星、金星三个词。

数据监控显示,该平台的生成速度仅为0.03 Token/s,这意味着生成一段100字的回答可能需要近一个小时。

在性能释放方面,高通芯片自带的Hexagon NPU拥有40 TOPS的算力,但由于软件后端支持尚不完善,本次实测全程由CPU硬扛。即便使用了量化技术来压缩数据精度,固态硬盘的读写速度依然成为了制约推理效率的最大短板。

简单来说,这更像是一场极客圈的肌肉展示,证明了边缘设备通过SSD置换技术运行超大模型的可能性。

虽然0.77 Token/s的小模型表现尚可,但对于744B这种巨无霸来说,目前的单板电脑性能还远远达不到实用门槛。

【本文结束】如需转载请务必注明出处:快科技

责任编辑:青山

新浪众测 新浪众测

新浪科技公众号

新浪科技公众号

“掌”握科技鲜闻 (微信搜索techsina或扫描左侧二维码关注)

科学大家

新浪科技

新浪科技为你带来最新鲜的科技资讯

苹果汇

苹果汇为你带来最新鲜的苹果产品新闻

新浪众测

新酷产品第一时间免费试玩

新浪探索

提供最新的科学家新闻,精彩的震撼图片

來源:新浪科技 · finance.sina.com.cn