跳到正文
目前篩選:一手

#推理

今日 0 條
11月21日週六
11月20日週五
  1. AWS Machine Learning Blog63

    Amazon SageMaker Inference 回顧 2026 年 14 項更新(第二部分)

    Amazon SageMaker Inference 第二部分回顧 14 項 2026 年更新,涵蓋託管端點與 HyperPod Inference 的模型配置、GPU 利用率、多節點服務、路由及部署後監察。

    推薦理由:文章按部署後的配置、GPU 利用率、多節點服務及跨區路由等問題梳理 14 項更新,並以假設的支援團隊案例説明各項功能所對應的運作情境。

  2. AWS Machine Learning Blog66

    Amazon SageMaker AI 推出跨區域推理路由功能

    Amazon SageMaker AI 推出跨區域推理路由,讓應用程式透過單一入口呼叫多個 AWS 區域及帳戶內的既有端點和推理元件。路由器優先使用本區域目的地,在目的地無法可靠服務時將新請求轉往其他目的地,並在恢復後逐步切回。

    推薦理由:文章拆解路由器如何按目的地健康狀態跨區分流並逐步回切,並交代重試條件、流量上限及部署限制,呈現功能的韌性設計邊界。

11月19日週四
  1. Google DeepMind81

    Google DeepMind 發佈 Gemini 4 Neon

    Google DeepMind 發佈 Gemini 4 Neon,面向複雜軟件工程、知識工作及科學工作流程,主打快速端到端任務處理。它在 Artificial Analysis Intelligence Index 的 xhigh thinking level 排名第 3、得分 61,並在 Vals Index 排名第 2、得分 70.9%。

    推薦理由:Gemini 4 Neon 同時面向編碼、企業分析、科學工作與網絡安全,並列出多項基準成績及不同思考層級的成本比較,呈現能力與效率的取捨。

  2. Hugging Face Blog65

    Transformers 如何在 32GB Mac 上推理 180B MoE 模型,解碼速度接近 Strata

    Transformers 的 MoE 專家串流實作在 32GB Mac M5 上運行 Qwen3.8-Flash-Next,200-token 解碼達 13.9 tok/s,與 Strata 的 14.8 tok/s 相差約 6%。

    推薦理由:文章以同一台 M5 和相同提示詞比較 Transformers 與 Strata,呈現專家串流優化後短文本解碼差距約 6%,並指出剩餘效能瓶頸。

11月18日週三
  1. OpenAI News65

    OpenAI 發佈更新版 Astra for Law,開放 ChatGPT Enterprise 客戶申請

    OpenAI 發佈更新版 Astra for Law,這項基於 GPT‑6.2 Astra 的法律模型配置現可供所有 ChatGPT Enterprise 客戶透過 Trusted Access Program 申請,亦可申請 API 存取。

    推薦理由:材料並列 LAB-AA 與 Vals AI 的基準數據及法律搜尋索引變化,可從任務滿分率和資料覆蓋兩方面瞭解此次更新。

11月14日週六
11月13日週五
  1. AWS Machine Learning Blog63

    Amazon Bedrock 四項推理設定如何影響成本

    AWS Machine Learning Blog 説明,Amazon Bedrock 的快取時長、服務層級、推理力度及 maxTokens 均會影響推理成本,並展示如何測試和核對效果。

    推薦理由:文章將四項請求設定納入同一測試流程,逐項核對模型支援、token 或成本變化及任務完成度,提供可套用於不同工作負載的評估方法。

  2. Google DeepMind84

    Google DeepMind 發佈 Gemini 4 Hydrogen

    Google DeepMind 發佈 Gemini 4 Hydrogen,主打日常編碼及智能體工作流程中的快速執行,並即日起在開發者、企業及消費者產品渠道全球推出。

    推薦理由:文章以 Gemini 3.8 Flash 為對照,列出 Hydrogen 在任務速度、Terminal-Bench 4.1 成績及多項安全指標上的變化,呈現更新涵蓋的能力範圍。

11月12日週四
11月11日週三
  1. Google DeepMind83

    Google DeepMind 開放 Gemini 4 Carbon 使用,面向複雜知識工作與科學推理

    Google DeepMind 開放 Gemini 4 Carbon,供開發者、企業、科學家及一般用戶使用,並定位為面向複雜知識工作、軟件工程及科學推理的前沿模型。

    推薦理由:文章列出 Gemini 4 Carbon 在多項工作流程基準的排名及相對成本,並交代付費開發者和企業的使用入口,呈現其產品定位與採用條件。

11月10日週二
  1. Hugging Face Blog64

    Hugging Face 生態系如何支援決策模型

    Hugging Face 將決策模型支援整合至 Transformers,並以共通介面讓模型根據狀態、問題及允許答案輸出結構化決策和機率。

    推薦理由:文章比較決策模型與傳統分類、零樣本分類的定位差異,並展示 Transformers 與 llama.cpp 如何透過共通介面處理選項、序位評分及是非判斷。

11月7日週六
11月6日週五
11月4日週三
10月29日週四
  1. Mistral AI76

    Mistral Large 4(Le Chonk)發佈改進版開放權重

    Mistral AI 發佈改進版 Mistral Large 4(Le Chonk)的開放權重;這款 1-trillion-parameter 原生多模態模型提升了編碼、防禦性網絡安全及推理效率。

    推薦理由:文章把編碼基準成績與 tokens 使用效率並列,並交代開放權重模型的自託管及企業託管服務選項,呈現能力比較與部署方式。

10月28日週三
  1. Hugging Face Blog62

    大語言模型能否可靠判斷研究構想是否新穎?

    Ai2 發佈《Old Ideas, Novel Problems》研究及基準,發現大語言模型判斷研究構想新穎性的結果會因評估設定而大幅變動。以 GPT-5.4 評估人類與 AI 生成構想的配對時,僅更改提示詞便令準確率由 93.5% 降至 40.9%,並改變逾半配對的判斷。

    推薦理由:研究從 ICLR 2026 評審中抽取明確談及原創性的案例,建立可比較人類與 AI 生成構想的基準,呈現提示詞變動對評估結果的影響。

10月22日週四
  1. OpenAI News62

    OpenAI、PerturbAI 與 Scripps Research 用數千個 AI 智能體從腦細胞數據中發掘研究線索

    OpenAI、PerturbAI 與 Scripps Research 使用由 GPT‑Rosalind 驅動的數千個 AI 智能體,在 32 分鐘內分析數百萬個小鼠腦細胞的既有實驗數據,找出可供後續研究的生物學線索。

    推薦理由:以小鼠腦細胞數據展示分佈式智能體如何串連基因擾動結果與科學文獻,並以單一智能體和盲評比較其分析廣度。

10月21日週三
10月20日週二
  1. Hugging Face Blog74

    PyTorch 2.15 為 Mac MPS 加入 FP8 支援並加快模型解碼

    PyTorch 2.15 為 Mac 的 MPS 後端加入 FP8 支援,並加快 LLM 解碼及多項 Metal 運算。在 M3 Ultra 使用 torch.compile 時,Qwen3.6-35B-A3B 的 MoE 解碼速度由 9.4 升至 61.3 tokens/s;Wan2.2 影片 VAE 解碼的峯值驅動程式記憶體由約 270 GiB 降至約 8 GiB。

    推薦理由:文章列出 Mac MPS 上的模型解碼提速和 Wan2.2 影片 VAE 記憶體降幅,具體呈現 PyTorch 2.15 後端更新對本機推理工作負載的變化。

10月16日週五
  1. Hugging Face Blog60

    Granite Switch 4.1 推出 8B、30B 版本,單一端點整合對話、決策與語音轉文字

    Granite Switch 4.1 發佈 8B 和 30B 模型,讓對話、通用及專項決策與語音轉文字可透過同一個託管端點處理。兩款模型整合 Decision aLoRA、Guardian aLoRA 和 Granite-Speech-5.0-Turbo-CTC,合併後佔用的 GPU VRAM 約與基礎模型單獨運行相若,且可重用基礎模型生成的 KV cache。

    推薦理由:文章呈現以 aLoRA 組合通用及專項決策與語音辨識的方法,並交代共用 KV cache 如何使多項能力維持接近基礎模型的 GPU VRAM 佔用。

10月15日週四
  1. Hugging Face Blog68

    Apertus 1.5 發佈説明:新增圖像與音訊理解,上下文窗口擴至 262,144 tokens

    Apertus 1.5 更新 8B 和 70B 模型,加入圖像與音訊理解及可選思考模式,並將上下文窗口擴至 262,144 tokens。持續預訓練分別為 8B 和 70B 模型加入 4 trillion tokens 和 2 trillion tokens 的文字及多模態訓練資料,總訓練量分別達 19T 和 17T。

    推薦理由:文章同時公開訓練資料、各階段檢查點與可重跑的評測記錄,讀者可據此瞭解 Apertus 1.5 的訓練流程及比較評測結果。