跳到正文
小眾軟件· 青小蛙·· 3 小時前AI 評分62

Strata 0.2.2 發佈:新增多顯示卡自由分工,Gyro 推理提速最高 30%

Strata 0.2.2 发布:新增多显卡自由分工,Gyro 推理提速最高 30%

AI 導讀

Strata 0.2.2 正式發佈,新增多顯示卡角色管理,並令 Gyro 量化模型在部分 NVIDIA 顯示卡上的推理速度提升最高約 30%。用戶可把顯示卡設為 Main、Helper 或 Off;RTX 3060 12GB 上 Gyro-S 由 53.6 tok/s 升至 62.8 tok/s,Gyro-M 由 50.6 tok/s 升至 56.1 tok/s。

正文

Strata 是什么?
Strata 是一款免费开源的本地大模型运行工具,支持 Windows、macOS 和 Linux,能够让普通电脑运行大型 AI 模型,最低只需要 8GB 显存。

前天刚介绍了 Strata 0.2.0 测试版发布,提升了性能,没想到开发者又又又马不停蹄的发布到了 Strata 0.2.2,去掉了 Beta 标签。

这让青小蛙想起了曾经 OpenClaw 的高光时刻,几乎实时都在发布新版本。

这次更新最大的亮点是 新增多显卡角色管理功能,允许用户自己决定每张显卡负责什么工作。

此外,Gyro 模型在部分 NVIDIA 显卡上的推理速度提升最高约 30%,并扩展了对 Mac、Intel Arc 和 AMD 显卡的支持。

Strata 0.2.2 发布:新增多显卡自由分工,Gyro 推理提速最高 30% 1

新功能:多显卡自由分工

Strata 此前已经支持多显卡协同推理,但显卡之间如何分工,主要由程序自动决定,在 0.2.2 中,用户终于可以手动指定每张显卡的角色了。

新增三种角色:

角色作用
Main(主卡)负责最后的模型层、草稿层以及最终验证
Helper(辅助卡)分担模型层计算和专家缓存
Off(禁用)完全不参与推理

例如,一台拥有 RTX 3090 24GB 和 RTX 3060 12GB 双显卡的电脑,就可以将 RTX 3090 设置为 Main,RTX 3060 设置为 Helper。

这样一来,用户就可以根据显卡性能、显存大小和实际需求,自行安排多张显卡的工作。

当然,根据青小蛙的使用经验(单显卡),最缺的应该是内存…这么玩下去,至少 64GB 起步吧。 😭

Gyro 模型推理提速最高 30%

Strata 0.2.2 还优化了 Gyro 量化模型在 NVIDIA 显卡上的推理性能。开发者调整了 GPU 计算方式,让显卡能够更高效地处理 Gyro 模型中的专家网络。

在 RTX 3060 12GB 上,官方测试结果如下:

模型更新前更新后提升
Gyro-S53.6 tok/s62.8 tok/s约 17%
Gyro-M50.6 tok/s56.1 tok/s约 11%

而在更老的 Tesla P100 显卡上,Gyro-S 的解码速度提升约 30%。

什么是 Gyro 模型?

Gyro-S、Gyro-M 是基于 Qwen3.8-Flash-Next(拥有 1280 亿参数(128B)的超大模型)制作的量化版本,通过压缩模型权重、将部分数据保留在 SSD 上,降低运行所需的内存和显存,让普通电脑也有机会运行这样的超大模型。

目前有 Gyro-S 和 Gyro-M 两种版本,前者更省内存(27.6GB),后者模型质量更高。由开发者 agentionai 制作。

更多硬件可以运行 Gyro 模型

Strata 0.2.2 还扩大了 Gyro 模型的硬件支持范围:

Apple Silicon Mac: 现在可以运行 Gyro-S 和 Gyro-M。开发者在 M4 Mac mini(32GB 内存)上测试 Gyro-S,解码速度为 9.1 tok/s。由于内存不足以完整容纳模型权重,需要从 SSD 读取部分数据。

Intel Arc: Linux 下新增 Gyro 支持。在 Arc A750 8GB 显卡、62GB 内存的测试机上,Gyro-S 达到了 15.8 tok/s。

AMD RX 6000: 新增针对 RDNA2 架构的引擎构建,涉及 RX 6700 XT、RX 6800、RX 6900 等显卡。不过官方尚未在 RX 6000 实机上验证,Windows 对应安装包也尚未完成构建。

此外,Linux CUDA 12 安装包恢复了对部分 NVIDIA Pascal、Volta 老显卡的支持。

其他改进:模型管理、下载和启动

除了多显卡管理,Strata 0.2.2 还修复了一系列实际使用中容易遇到的问题。

1. 桌面版和命令行版统一模型目录

此前两个版本可能分别保存模型,导致重复下载几十 GB 的文件。

现在两者可以同步模型目录,还能通过 Settings → Storage 迁移已有模型。迁移过程中会校验文件完整性,中途停止也可以继续。

2. 下载损坏不用全部重来

下载几十 GB 的大模型时,如果部分数据损坏,Strata 现在可以只重新下载出错的数据块。

官方测试中,一个 39.8GB 的模型分片经历了 64 次连接重置和两次人为中断,最终仍然通过 SHA-256 校验。

(青小蛙表示:这个功能尤其适合网络糟糕的地区)

3. 修复重复自动调优

此前 Strata 可能每次启动都重新进行耗时的性能测试,修复后,官方测试机首次启动耗时 521 秒,第二次启动仅需 13 秒。

4. API 密钥可以关闭

用户现在可以选择不使用 API 密钥共享模型,方便在可信局域网中使用。

此外,新版本还修复了部分长提示词异常、工具调用格式兼容、Docker 升级和 AMD 显卡启动问题。

如何升级 Strata 0.2.2?

Strata 0.2.2 已正式发布,支持 Windows、macOS 和 Linux。

桌面版可以通过 Settings → Update 升级。

命令行版使用:

strata update

源码安装用户可以运行 UPDATE.bat 或 ./update.sh。

青小蛙建议,都去用桌面版吧,比命令行版本好看又好用。

Strata 0.2.2 发布:新增多显卡自由分工,Gyro 推理提速最高 30% 2

原文:https://www.appinn.com/strata-0-2-2/

另外,有没有多显卡用户来显摆一下的。


相关阅读


©2021 青小蛙 for 小众软件 | 加入我们 | 投稿 | 订阅指南
3659b075e72a5b7b1b87ea74aa7932ff
点击这里留言、和原作者一起评论

[ 点击前往获取链接 ]


來源:小眾軟件 · appinn.com