DeepSeek V4.1 Flash 宣稱可在 64GB 設備本地部署，推理速度快約 3 倍

快科技10月30日消息，本地部署AI大模型是很多人期待的方案，等于Token自由，以前都只能部署小参数模型，现在DeepSeek V4.1 Flash-1017这样的大模型也能本地部署了。

Unsloth一直在搞本地部署DeepSeek V4.1 Flash-1017优化，今天又放出了Dynamic V3.1 量化号称可以在最低64GB内存设备上本地部署，而且相比前版性能更强、任务完成更快、输出更短，性价比全面提升。

根据他们公布的数据，Dynamic V3.1的性能非常强，在GPQA Diamond、AIME25、LiveCodeBench v6、MMLU-Pro、Aider等基准测试上排名第一。

更重要的是，速度也更快了，Unsloth Desktop + llama.cpp相比其他专注于 CPU/VRAM/n-gram的仓库可实现约快3倍的DeepSeek-V4.1 推理。

不过Unsloth的文章中提到了可以在64GB内存的设备上运行，但没有提供具体的测试数据，而最小量化的IQ1_S版本也需要122.4GB内存，不知道他们是怎么做到在64GB内存上跑的。

考虑到V4.1 Flash的架构，1950亿参数的n-gram存储可以用SSD来运行，但这样的配置对速度显然是很不利的。

所以就算是能做到在64GB内存设备上跑，速度应该也没有什么价值，Token输出自由了，只不过体验应该没有意义，至少还得128GB，毕竟128GB内存跑起来也不会有多快的速度。

详细的介绍和部署方法可以查看Unsloth官网说明。

【本文结束】如需转载请务必注明出处：快科技

责任编辑：宪瑞

新浪科技公众号

“掌”握科技鲜闻 （微信搜索techsina或扫描左侧二维码关注）

科学大家

新浪科技

新浪科技为你带来最新鲜的科技资讯

苹果汇

苹果汇为你带来最新鲜的苹果产品新闻

新浪众测

新酷产品第一时间免费试玩

新浪探索

提供最新的科学家新闻，精彩的震撼图片