跳到正文
DoNews·· 2026-10-16AI 評分71

NVIDIA 發佈 1200 億參數多模態模型 Nemotron 3.5 Super VL

英伟达发布 1200 亿参数大模型 Nemotron 3.5 Super VL

AI 導讀

NVIDIA 發佈開放多模態模型 Nemotron 3.5 Super VL,面向持續運行及執行多步任務的 AI 智能體。模型採用 MoE 架構,總參數量為 1200 億、激活參數為 120 億;NVIDIA 稱,其在單張 GPU 執行智能體任務時,吞吐量最高可達同規模其他開放模型的 5 倍。

正文

10月16日消息,英伟达宣布推出开放多模态模型 Nemotron 3.5 Super VL,面向需要持续运行、执行多步骤任务的 AI 智能体。

该模型采用混合专家(MoE)架构,总参数量为 1200 亿,激活参数 120 亿。英伟达称,在单张 GPU 上执行智能体任务时,该模型的吞吐量最高可达到同规模其他开放模型的 5 倍。

据介绍,Nemotron 3.5 Super VL 将推理、指令遵循和工具调用能力,与文本、图像、文档及视频理解能力整合到同一个模型中,可用于代码测试与调试、跨网站信息检索、文档分析、网络安全威胁识别以及视频内容检索等场景。开发者可以利用英伟达 NeMo 工具链,结合自有数据、工具、政策和工作流程进行后训练,并根据业务需求调整模型行为。

英伟达同时公布了多个企业定制案例。例如,AI 数据技术提供商 Scale AI 为媒体娱乐公司 Skydance Corporation 定制了供应商信用处理智能体,相关工作负载的推理成本预计可降低 97.5%、延迟降低 80%。

金融运营平台 Ramp 正将收据图像转换为包含商户、日期和支付信息的结构化 JSON 数据,预计吞吐量最高提升 50%、延迟降低 90%。AI21 与 AI 安全公司 Alice 合作定制模型,用于威胁情报和漏洞分析,相关任务准确率提升 40%。

在模型评测方面,英伟达称 Nemotron 3.5 Super VL 在 CharXiv 图表推理基准测试中得分为 80.8%,高于 Nemotron 3 Nano Omni 的 63%;结合 Python 代码解释后,得分达到 84%。

在 Hermes Bench 和 LangChain 行为评估中,该模型分别取得 63.44% 和 87.05%,高于 Nemotron 3 Ultra 的 56.33% 和 84.3%。英伟达还表示,该模型在 OCRBench v2 榜单上属于表现靠前的开放模型之一。

为降低推理开销,Nemotron 3.5 Super VL 采用投机解码、混合精度和上下文复用等技术。英伟达介绍,其 LiLiCorr 投机解码方法在 DGX Spark 上可将词元生成速度最高提升至 2.3 倍。

模型还支持 NVFP4 量化,在英伟达 Blackwell 架构上使用 4 位权重和 4 位激活值;在非 Blackwell 平台上,同一检查点使用 4 位权重和 16 位激活值。

英伟达还公布了面向分布式推理的部署优化方案。根据其披露的数据,在使用 16 张 NVIDIA B200 GPU、每名用户每秒生成 50 个词元的测试条件下,NVIDIA Dynamo 配合缓存感知路由、会话亲和性和 KV 缓存卸载,最多可服务 8 倍数量的用户,并将首词元延迟降低 85%。

此次发布还包括基础模型、后训练模型和 NVFP4 量化模型权重,以及训练配方、数据集和强化学习环境。

英伟达表示,Nemotron 3.5 Super VL 在预训练和持续预训练阶段共使用约 26 万亿词元,后训练阶段使用约 380 万个样本,并在数十种环境中进行强化学习。新开放的数据集涵盖智能体工具调用、金融推理、指令遵循、长上下文、公平性和视觉语言理解等领域。

除 Super VL 外,英伟达还推出了两款 Nemotron 3.5 Bolt 端侧模型。Nemotron 3.5 Bolt 74B-A9B 24GB 采用 740 亿总参数、90 亿激活参数的 MoE 架构,通过原生 2 位量化将模型压缩至 24GB,面向本地智能体任务,支持 llama.cpp、vLLM、Ollama、Unsloth 和 LM Studio。Nemotron 3.5 Bolt E4B 4GB 则面向本地语音助手、交互角色和嵌入式界面等场景,计划于 10 月 23 日推出。

Nemotron 3.5 Super VL 和 Bolt 74B-A9B 24GB 已开放获取,开发者可通过 Hugging Face、OpenRouter、ModelScope 等渠道使用相关模型资源。Super VL 可部署于 DGX Spark、DGX Station、RTX 系统、数据中心或云端;Bolt E4B 4GB 则计划于 10 月 23 日发布。

來源:DoNews · donews.com