Strata 0.2.2 發佈:新增多顯示卡自由分工,Gyro 推理提速最高 30%
Strata 0.2.2 发布:新增多显卡自由分工,Gyro 推理提速最高 30%
Strata 0.2.2 正式發佈,新增多顯示卡角色管理,並令 Gyro 量化模型在部分 NVIDIA 顯示卡上的推理速度提升最高約 30%。用戶可把顯示卡設為 Main、Helper 或 Off;RTX 3060 12GB 上 Gyro-S 由 53.6 tok/s 升至 62.8 tok/s,Gyro-M 由 50.6 tok/s 升至 56.1 tok/s。
Strata 是什么?
Strata 是一款免费开源的本地大模型运行工具,支持 Windows、macOS 和 Linux,能够让普通电脑运行大型 AI 模型,最低只需要 8GB 显存。
前天刚介绍了 Strata 0.2.0 测试版发布,提升了性能,没想到开发者又又又马不停蹄的发布到了 Strata 0.2.2,去掉了 Beta 标签。
这让青小蛙想起了曾经 OpenClaw 的高光时刻,几乎实时都在发布新版本。
这次更新最大的亮点是 新增多显卡角色管理功能,允许用户自己决定每张显卡负责什么工作。
此外,Gyro 模型在部分 NVIDIA 显卡上的推理速度提升最高约 30%,并扩展了对 Mac、Intel Arc 和 AMD 显卡的支持。

新功能:多显卡自由分工
Strata 此前已经支持多显卡协同推理,但显卡之间如何分工,主要由程序自动决定,在 0.2.2 中,用户终于可以手动指定每张显卡的角色了。
新增三种角色:
| 角色 | 作用 |
|---|---|
| Main(主卡) | 负责最后的模型层、草稿层以及最终验证 |
| Helper(辅助卡) | 分担模型层计算和专家缓存 |
| Off(禁用) | 完全不参与推理 |
例如,一台拥有 RTX 3090 24GB 和 RTX 3060 12GB 双显卡的电脑,就可以将 RTX 3090 设置为 Main,RTX 3060 设置为 Helper。
这样一来,用户就可以根据显卡性能、显存大小和实际需求,自行安排多张显卡的工作。
当然,根据青小蛙的使用经验(单显卡),最缺的应该是内存…这么玩下去,至少 64GB 起步吧。 
Gyro 模型推理提速最高 30%
Strata 0.2.2 还优化了 Gyro 量化模型在 NVIDIA 显卡上的推理性能。开发者调整了 GPU 计算方式,让显卡能够更高效地处理 Gyro 模型中的专家网络。
在 RTX 3060 12GB 上,官方测试结果如下:
| 模型 | 更新前 | 更新后 | 提升 |
|---|---|---|---|
| Gyro-S | 53.6 tok/s | 62.8 tok/s | 约 17% |
| Gyro-M | 50.6 tok/s | 56.1 tok/s | 约 11% |
而在更老的 Tesla P100 显卡上,Gyro-S 的解码速度提升约 30%。
什么是 Gyro 模型?
Gyro-S、Gyro-M 是基于 Qwen3.8-Flash-Next(拥有 1280 亿参数(128B)的超大模型)制作的量化版本,通过压缩模型权重、将部分数据保留在 SSD 上,降低运行所需的内存和显存,让普通电脑也有机会运行这样的超大模型。
目前有 Gyro-S 和 Gyro-M 两种版本,前者更省内存(27.6GB),后者模型质量更高。由开发者 agentionai 制作。
更多硬件可以运行 Gyro 模型
Strata 0.2.2 还扩大了 Gyro 模型的硬件支持范围:
Apple Silicon Mac: 现在可以运行 Gyro-S 和 Gyro-M。开发者在 M4 Mac mini(32GB 内存)上测试 Gyro-S,解码速度为 9.1 tok/s。由于内存不足以完整容纳模型权重,需要从 SSD 读取部分数据。
Intel Arc: Linux 下新增 Gyro 支持。在 Arc A750 8GB 显卡、62GB 内存的测试机上,Gyro-S 达到了 15.8 tok/s。
AMD RX 6000: 新增针对 RDNA2 架构的引擎构建,涉及 RX 6700 XT、RX 6800、RX 6900 等显卡。不过官方尚未在 RX 6000 实机上验证,Windows 对应安装包也尚未完成构建。
此外,Linux CUDA 12 安装包恢复了对部分 NVIDIA Pascal、Volta 老显卡的支持。
其他改进:模型管理、下载和启动
除了多显卡管理,Strata 0.2.2 还修复了一系列实际使用中容易遇到的问题。
1. 桌面版和命令行版统一模型目录
此前两个版本可能分别保存模型,导致重复下载几十 GB 的文件。
现在两者可以同步模型目录,还能通过 Settings → Storage 迁移已有模型。迁移过程中会校验文件完整性,中途停止也可以继续。
2. 下载损坏不用全部重来
下载几十 GB 的大模型时,如果部分数据损坏,Strata 现在可以只重新下载出错的数据块。
官方测试中,一个 39.8GB 的模型分片经历了 64 次连接重置和两次人为中断,最终仍然通过 SHA-256 校验。
(青小蛙表示:这个功能尤其适合网络糟糕的地区)
3. 修复重复自动调优
此前 Strata 可能每次启动都重新进行耗时的性能测试,修复后,官方测试机首次启动耗时 521 秒,第二次启动仅需 13 秒。
4. API 密钥可以关闭
用户现在可以选择不使用 API 密钥共享模型,方便在可信局域网中使用。
此外,新版本还修复了部分长提示词异常、工具调用格式兼容、Docker 升级和 AMD 显卡启动问题。
如何升级 Strata 0.2.2?
Strata 0.2.2 已正式发布,支持 Windows、macOS 和 Linux。
桌面版可以通过 Settings → Update 升级。
命令行版使用:
strata update
源码安装用户可以运行 UPDATE.bat 或 ./update.sh。
青小蛙建议,都去用桌面版吧,比命令行版本好看又好用。

原文:https://www.appinn.com/strata-0-2-2/
另外,有没有多显卡用户来显摆一下的。
相关阅读
- Strata 现已支持 macOS,还能运行更轻量的 Qwen3.6-35B-A3B 大模型了
- 卷起来了!昨天 Strata 刚升级,今天 Splash 1.4 就宣布快了 30%
- Strata 0.2 测试版发布:性能升级,门槛再降低|低配电脑运行本地大模型
- 8GB显存就够,Strata 让普通电脑也能运行千亿参数大模型
- 10 个有意思的 GitHub 项目:比亚迪用上 CarPlay、翻译扫描 PDF,还有一本人生指南
©2021 青小蛙 for 小众软件 | 加入我们 | 投稿 | 订阅指南
3659b075e72a5b7b1b87ea74aa7932ff
点击这里留言、和原作者一起评论
來源:小眾軟件 · appinn.com