跳到正文

多模態

文本之外的能力:視覺理解、圖文混合、音訊與影片的輸入輸出的模型與產品進展。

214條精選相關主題圖像生成AI 影片語音與音頻

最新精選

第 81–100 條 · 共 214 條
10月21日週三
  1. Hugging Face Blog62

    NVIDIA 擴展 Nemotron Retriever 系列,推出 Nemotron 3.5 Embed、Nemotron 3.5 Rerank 及 Nemotron 3.5 Parse

    NVIDIA 擴展 Nemotron Retriever 系列,推出可商用的開放模型 Nemotron 3.5 Embed、Nemotron 3.5 Rerank 及 Nemotron 3.5 Parse,涵蓋多模態檢索、重排及文件抽取。

    推薦理由:這次更新把多模態嵌入、重排與文件解析納入同一檢索系列,並列出多項基準與吞吐數據,呈現準確度和部署效率的取捨。

  2. AWS Machine Learning Blog62

    Octave 如何在 Amazon Bedrock 上打造安全的多租戶 AI 基礎平台

    Octave 為 Reliance 在 Amazon Bedrock 上建立三層多租戶 AI 基礎平台,以支援受監管產業的文件搜尋與 AI 工作流程。平台採用 Cohere Embed v4,並以每租戶向量儲存、AgentCore 隔離執行環境及 Amazon Bedrock Guardrails 分層控制資料存取與內容風險。

    推薦理由:文章拆解多租戶合規場景中的隔離、身份與內容安全取捨,並呈現如何把共用基礎設施轉化為可重用的 AI 功能底座。

10月20日週二
  1. Hugging Face Blog74

    PyTorch 2.15 為 Mac MPS 加入 FP8 支援並加快模型解碼

    PyTorch 2.15 為 Mac 的 MPS 後端加入 FP8 支援,並加快 LLM 解碼及多項 Metal 運算。在 M3 Ultra 使用 torch.compile 時,Qwen3.6-35B-A3B 的 MoE 解碼速度由 9.4 升至 61.3 tokens/s;Wan2.2 影片 VAE 解碼的峯值驅動程式記憶體由約 270 GiB 降至約 8 GiB。

    推薦理由:文章列出 Mac MPS 上的模型解碼提速和 Wan2.2 影片 VAE 記憶體降幅,具體呈現 PyTorch 2.15 後端更新對本機推理工作負載的變化。

10月17日週六
  1. UNWIRE.PRO · 人工智能76

    Meta 發佈 Muse Spark Open,與 Apple 合作支援 Mac Studio 叢集本機運行

    Meta 於 10 月 15 日發佈總參數量達 8,160 億的開放權重模型 Muse Spark Open,並與 Apple 合作,讓模型可在 2 部配備 M5 Ultra 晶片的 Mac Studio 上完全本機運行。

    推薦理由:文章梳理 Muse Spark Open 在 Mac Studio 叢集本機運行所需的記憶體與互連條件,並指出企業還須衡量授權限制和部署成本。

10月16日週五
  1. DEV Community76

    Meta 發佈 Muse Spark Open 開放權重模型,816B 參數可下載但本地運行約需 1TB RAM

    Meta 於 2026 年 10 月 15 日推出 Muse Spark Open,這款開放權重模型共有 816B 參數,權重可免費下載。模型採用混合專家架構,每個 token 啟用 42B 參數,支援 1,048,576 token 上下文及文字、圖像、音訊和影片輸入,並以智能體編碼為設計方向。

    推薦理由:文章把免費下載、本地運行所需硬件與商用授權條件放在一起,交代 Muse Spark Open 從取得權重到實際部署的門檻。

  2. DoNews79

    Meta 發佈開放權重模型 Muse Spark Open,可在兩台配備 M5 Ultra、512 GB 記憶體的 Mac Studio 本地運行

    Meta 發佈開放權重模型 Muse Spark Open;該模型可在兩台配備 M5 Ultra、512 GB 記憶體的 Mac Studio 上本地運行。模型採用原生多模態架構,總參數量為 816B(激活參數 42B),上下文窗口為 1M token。

    推薦理由:文章並列 Muse Spark Open 的參數規模、上下文窗口及兩台配備 M5 Ultra、512 GB 記憶體的 Mac Studio 本地運行條件,呈現其桌面部署門檻。

  3. SiliconANGLE77

    Meta 發佈 816B 參數 Muse Spark Open 開放權重,面向編碼及智能體任務

    Meta 發佈 Muse Spark Open 的開放權重,這款 816B 參數模型面向編碼及長時間運作的智能體任務。其上下文窗口最高為 1 million tokens;Meta 的測試中,模型在 JobBench 得分 61.8,在 MCP-Atlas 工具使用測試得分 89.2。

    推薦理由:文章比較 Muse Spark Open 在編碼與工具調用基準上的表現,並交代開放權重的商用授權條件,呈現其能力側重與使用限制。

  4. Hacker News 熱門(buzzing.cc 中文翻譯)85

    Meta 發佈 Muse Spark Open 開放權重模型,支援在兩台 Apple M5 Ultra Mac Studio 上桌面運行

    Meta 今日發佈 Muse Spark Open 的模型權重;這款原生多模態模型有 816B 總參數(42B active)及 1M-token 上下文窗口。

    推薦理由:Muse Spark Open 同時公佈本機部署配置、託管 API 入口及 GPU 推理速度數據,呈現開放權重模型從桌面運行到託管服務的部署路徑。

  5. Unite.AI79

    Meta 公開 816B 參數 Muse Spark Open 模型權重

    Meta 於 2026 年 10 月 15 日公開 Muse Spark Open 的模型權重;這款原生多模態開放權重模型有 816B 總參數、42B 啟用參數及 1M-token 上下文窗口。

    推薦理由:文章列出 Muse Spark Open 的權重下載與 API 使用途徑,並交代本地運行至少需要 700GB VRAM(NVFP4)或 2TB(BF16),可供評估部署條件。

  6. Hugging Face Blog81

    Meta 發佈開放權重多模態混合專家模型 Muse Spark Open

    Meta 推出 Muse Spark Open,一款約 816B 參數、每個 token 約啟用 42B 參數的開放權重多模態混合專家模型,支援文字、圖像、音訊和影片輸入,並生成文字。模型的上下文窗口最高為 1M tokens。文章列出 Transformers、llama.cpp、SGLang 和 vLLM 等推理部署方式,以及使用 TRL 進行 LoRA 微調的示例。

    推薦理由:文章把模型規模、長上下文與多模態輸入能力,連同多種部署和微調方案放在同一份技術指南中,可用來瞭解模型的運行配置與使用方式。

10月15日週四
  1. Hugging Face Blog68

    Apertus 1.5 發佈説明:新增圖像與音訊理解,上下文窗口擴至 262,144 tokens

    Apertus 1.5 更新 8B 和 70B 模型,加入圖像與音訊理解及可選思考模式,並將上下文窗口擴至 262,144 tokens。持續預訓練分別為 8B 和 70B 模型加入 4 trillion tokens 和 2 trillion tokens 的文字及多模態訓練資料,總訓練量分別達 19T 和 17T。

    推薦理由:文章同時公開訓練資料、各階段檢查點與可重跑的評測記錄,讀者可據此瞭解 Apertus 1.5 的訓練流程及比較評測結果。

  2. IT之家79

    階躍 Step 5 Preview 開放模型權重,支援 100 萬 token 上下文窗口

    階躍開放 Step 5 Preview 的 BF16 與 FP8 模型權重,並同步公開技術博客及配套開源開發工具。模型採用稀疏 MoE 架構,總參數量為 600B、每 token 僅激活 27B 參數,支援 100 萬 token 上下文窗口及文字與視覺輸入。

    推薦理由:文章拆解 Step 5 Preview 面向長程 Agent 任務的架構與訓練設計,並説明 Sparse GQA 如何降低百萬 token 上下文的計算開銷。

  3. IT之家80

    上海人工智能實驗室團隊以書生科學多模態大模型 S2 完成三維 Ghys 猜想證明

    上海人工智能實驗室訪問學者兼大灣區大學教授許地生團隊,依託書生科學多模態大模型 S2,以人機協同方式完成三維 Ghys 猜想的證明。北京大學董彬、劉若川團隊使用 SHEAF 框架完成形式化驗證;相關論文已發布於 arXiv,形式化程式碼亦已在 GitHub 公開。

    推薦理由:這項成果將專家判斷納入模型求解流程,並經 SHEAF 框架形式化驗證,提供人機協同處理長期數學問題的具體案例。