跳到正文
新浪科技·· 2 天前AI 評分48

Gemma3 在 14MB 記憶體的打印機上運行,每分鐘生成一個 token

14MB内存跑起Gemma3!打印机一分钟一个token

AI 導讀

Google DeepMind 工程師 Omar Sanseviero 將 270M 參數的 Gemma 模型放進理光辦公室雷射打印機運行,無需修改打印機韌體或外接計算板。實驗以 PostScript 文件執行推理,配合 Carbon 輕量推理引擎及動態層流式載入,峯值記憶體佔用為 14MB,生成速度約每分鐘一個 token。Sanseviero 表示,這是把硬件推至極限的測試,距離實際應用仍遠。

正文

快科技11月20日消息,Google DeepMind工程师Omar Sanseviero在社交平台上展示了一次实验,他把270M参数的Gemma模型塞进一台办公激光打印机里跑了起来。整个过程没有改打印机固件,也没有外接计算板。

打印机里的算力一直被认为不够用,这次的做法是把推理编译成一份PostScript打印文件,交给打印机自带的解释器执行,模型就在机器内部完成计算。

搭档是一个叫Carbon的轻量推理引擎,它把模型压到打印机能承受的体量。为了不把内存撑爆,实验用了动态层流式加载,让模型的不同层轮流进出内存。

代价是速度,原帖给出的峰值内存占用是14MB,生成速度大约一分钟一个token,一句短回答就得等上几分钟。

实验输入的提示语是Read the fine,打印机最后在纸上印出Read the fine print。答案只有三个词,确实是打印机算完再打出来的。

这台设备是理光的办公激光打印机,跑的是打印机里最平常的PostScript页面描述语言。Sanseviero自己也说得很克制,这更像一次把硬件推到极限的测试,离能干活还远。

【本文结束】如需转载请务必注明出处:快科技

责任编辑:知微

新浪众测 新浪众测

新浪科技公众号

新浪科技公众号

“掌”握科技鲜闻 (微信搜索techsina或扫描左侧二维码关注)

科学大家

新浪科技

新浪科技为你带来最新鲜的科技资讯

苹果汇

苹果汇为你带来最新鲜的苹果产品新闻

新浪众测

新酷产品第一时间免费试玩

新浪探索

提供最新的科学家新闻,精彩的震撼图片

來源:新浪科技 · finance.sina.com.cn