跳到正文
新浪科技·· 5 天前AI 評分53

Garlic LLM 開源項目正式發佈,讓 PS4 本地運行 Qwen3.5-9B

2013年老GPU别扔!破解版PS4本地跑90亿参数大模型:43Token/秒比电脑还快

AI 導讀

開發者 Leonardo Alegría 發佈開源項目 Garlic LLM,讓 2013 年的 PS4 在本地運行 90億參數的 Qwen3.5-9B。項目將模型作 4-bit 量化至約 4.5GiB,文本聊天生成速度最高達 43Token/秒,開啟語音交互後約為 22Token/秒。

正文

快科技11月17日消息,破解版PS4也能在本地跑大模型了。开发者Leonardo Alegría正式发布了名为Garlic LLM的开源项目,成功让这款2013年的老旧硬件本地运行了拥有90亿参数的阿里通义千问Qwen3.5-9B大模型。

实测数据显示,该项目在文本聊天模式下的生成速度最高可达43Token/秒,表现甚至优于部分主流PC平台。

这款Garlic LLM与通常依赖Vulkan或OpenCL驱动层的方案不同,该项目彻底绕过了PS4的图形驱动,通过OpenCL C直接编写针对AMD GCN架构的计算算子,并手动构建PM4指令缓冲直接与GPU通信。

这种越级通信方式大幅降低了指令延迟,使得即便主频较低的PS4显卡也能满负荷处理复杂的矩阵运算。

而且为了适配PS4仅有的8GB统一内存,开发者将Qwen3.5-9B模型进行了4位(4-bit)量化处理,将模型体积压缩至约4.5GiB。

除了纯文本生成,Garlic LLM还集成了完善的语音交互链条。它利用Nvidia的Parakeet模型实现25种欧洲语言的语音识别,并通过Chatterbox模型提供7种语言的语音合成输出。

在开启语音交互的情况下,模型运行速度仍能维持在22Token/秒左右。这意味着玩家只需通过手柄按键录音,即可与PS4进行完全离线的流畅语音对话,且无需任何互联网连接。

目前该项目已在Hugging Face平台开放下载,安装包体积约为5.66GB,要求PS4主机必须运行GoldHEN自制系统环境,开发者已经在固件版本为11.52的PS4 Slim主机上完成了全部测试。

【本文结束】如需转载请务必注明出处:快科技

责任编辑:青山

新浪众测 新浪众测

新浪科技公众号

新浪科技公众号

“掌”握科技鲜闻 (微信搜索techsina或扫描左侧二维码关注)

科学大家

新浪科技

新浪科技为你带来最新鲜的科技资讯

苹果汇

苹果汇为你带来最新鲜的苹果产品新闻

新浪众测

新酷产品第一时间免费试玩

新浪探索

提供最新的科学家新闻,精彩的震撼图片

來源:新浪科技 · finance.sina.com.cn