跳到正文
Latent Space· swyx .ai·· 5 小時前精選AI 評分77

Gemini 4 Carbon 登上多個排行榜榜首,首階段供受信任的網絡安全防禦者使用

[AINews] Gemini 4 Carbon tops leaderboards, launches for cyber defenders

AI 導讀

Google DeepMind 宣佈 Gemini 4 Carbon,稱其在網絡安全及長時程任務上表現領先;Artificial Analysis Intelligence Index v5 給它 59 分,排名第一。

推薦理由

文章並列 Google 公佈的網絡安全測試成績與 Artificial Analysis 等排行榜結果,也交代模型目前只向受信任的網絡安全防禦者開放,呈現其評測表現與現階段可用範圍。

正文 · 繁體中文

好在我們在今天發布前,已推出我們的 Opus 5.5 播客節目,稱它為全球最佳模型。

令人相當驚喜的是,Gemini 宣佈推出 Carbon,這款前沿模型比 3 星期前推出的 Argon 更新,基準測試成績出色:

這令它在 Artificial Analysis 綜合基準測試中升至新的 #1,令 GDM 可能首次在 AAII 歷史上領先:

在 X 上查看貼文 ↗

sd

AI News 2026/10/27–2026/10/28。 我們查看了 12 個 subreddit、544 個 Twitter 帳戶,沒有再查看其他 Discord。AINews 的網站可搜尋所有過往期數。提醒一下,AINews 現為 Latent Space 的一個欄目。你可以選擇接收或取消接收不同頻率的電郵!


AI Twitter 摘要

Gemini 4 Carbon 高居獨立排行榜榜首,但僅限網絡安全防禦人員使用

  • 發布:Google DeepMind 在 Argon 推出兩星期後宣佈 Gemini 4 Carbon。該模型定位為網絡安全及長時程任務方面的最先進模型(@sundarpichai、@GoogleDeepMind)。

    • 宣稱的網絡安全成績:在 SEC-bench Pro 的漏洞發現方面為 88.2%,在 ExploitGym 的漏洞利用方面為 54.8%,在 CWE-bench 的修補方面為 71.0%(@sundarpichai)。

    • 供應情況:Carbon 首先透過 Fairwind Program 提供予可信賴的網絡安全防禦人員使用,並承諾「盡快」向更多開發者開放(@GoogleAI)。

    • 價格:Phil Schmid 引述每百萬輸入/輸出 token 收費 $2/$10,並標有星號(@_philschmid)。 Artificial Analysis 列出的標準價格為 $4/$20,另有 50% 的推出折扣,且沒有設定結束日期。快取輸入每百萬 token 收費 $0.20(@ArtificialAnlys)。

    • 規格:模型的上下文視窗為 1M token,最大輸出為 1M token。輸入支援文字、圖片、影片及語音;輸出為文字(@ValsAI)。

  • 安全聲稱(Google):在 Terminal-Bench 4.0 上成功作弊的比例降至 0.0%,作弊嘗試的比例降至 0.4%。無根據的主張較 Argon 減少約 2 倍。越界行為減少 26%,服務不足減少 29%(@OfficialLoganK)。

  • Artificial Analysis:Carbon 在 Intelligence Index v5 排名 #1,得分 59。它在 9 項指標評測中的 4 項領先:HLE-Diamond、TB-Science、AA-Omniscience 及 AutomationBench(@ArtificialAnlys)。

    • 編碼:在 Coding Agent Index 上,Carbon 使用 Antigravity CLI 得分 59;Claude Code 搭配 Opus 5.5 [max] 得分 62。在 FrontierCode v1.1 上,Carbon 得分 51%,Opus 則為 56%。

    • 知識工作:Carbon 在 AA-Briefcase 達到 1609 Elo,較 Argon 高 126 分。它仍落後 Grok 4.7、Muse Wonder 及 Kimi K3.1 Pro(1678)。

    • 成本:Carbon 每項指標任務的成本為 $7.76,Opus 5.5 為 $10.04,GPT-6 Astra 為 $6.25。每項任務使用 123k 個輸出 token,較 Opus 少 29%。

    • 幻覺:Carbon 在 Omniscience 領先,得分 54。其幻覺率由 Argon 的 4% 升至 11%,但仍是已測模型中第二低。Opus 5.5 和 Astra 均為 50%。

  • 其他獨立評測:

    • Arena:Carbon 在 Text Arena 排名 #1(1528)、在 Agent Arena 排名 #2(每項任務的成本中位數為 $1.80),並在 Code Arena: WebDev 排名 #4(1768)(@arena)。Arena 將其相較 Argon 的進步歸因於更多讚揚、更多已確認的成功,以及更佳的可操控性(@arena)。

    • Vals:Carbon 在 Vals Index 排名第2,在 Finance Index 和 Legal Research Benchmark 均排名第1。Carbon 產生的輸出 token 數量比 Argon 多 64%,主要是在金融、税務及法律任務上(@ValsAI、tokens)。

    • 編碼基準測試:Carbon 在 FrontierSWE 得分 61.2%,落後於 GPT-6 Astra(65.5)、Opus 5.5(62.3)和 Sonnet 5.5(61.9)(@ProximalHQ)。它在 SWE-sweep 以 9.6% 創下幅度有限的最新最佳成績(@KLieret)。

    • Andon Labs:Carbon 在 Vending-Bench 2 排名第1(@andonlabs)。它在 Blueprint-Bench 2 也排名第1,3D 空間理解能力與人類基準持平(@andonlabs)。

  • 注意事項及反應:

    • 評測框架:編碼代理的結果是在 Antigravity CLI 中測得,因此尚未測試在其他評測框架中的表現(@Yuchenj_UW)。

    • 幻覺風險:有些用戶擔心它在網絡安全用途上會產生幻覺(@scaling01)。

    • 實驗室差距:scaling01 認為,Google 仍落後 OpenAI 和 Anthropic 下一輪發布約兩個月(@scaling01)。

  • RSI 的説法:Sundar Pichai 在業績電話會議上表示,AI 正提升訓練和推出速度。他預期「RSI 將令速度持續加快」,並將在未來十二個月內延續(@AndrewCurran_)。

    • 未經證實:有關尚未發布的更強 Gemini 模型的説法尚未獲證實(@kimmonismus)。

    • 內部工作流程:一名 Gemini 工程師描述了通宵運行的代理循環及代理羣集,負責檢視 RL 數據。在這個工作流程中,發布如今感覺像是「定期檢查點」(@zhangqiaorjc)。

排行榜重設與基準測試完整性

  • AA Intelligence Index v5:重建後的指數有 60% 採用私有測試(@TheRundownAI)。

    • Carbon 之前的排名:Opus 5.5 得分 58,其後依次為 GPT-6 Astra(57)、GPT-6.1 Sol(55)、Sonnet 5.5(54)和 GPT-6.1 Terra(51)。

    • 開放模型:Kimi K3.1 Pro 的得分由 55 跌至 46。DeepSeek V4.1 Flash 和 GLM-5.3 均得分 32,低於得分 36 的 Claude Haiku 5.5。

    • 中美差距:scaling01 根據 AA Progress Index 估計,差距約為 3.3 個月(@scaling01)。

  • FrontierCode 2.0 神秘模型:Cognition 的數據包含一個隱藏模型「Obsidian 3」,得分 46.8%,高於 Opus 5.5 的 45.5%。由於它在 claude-code 評測框架中運行,有人猜測它是 Fable 5.5;此説法尚未獲證實(@kimmonismus)。

    • DeepSeek 更正:scaling01 更正了先前的辨認結果,並表示 Artificial Analysis 顯示 DeepSeek V4.1 Flash-1017 的得分約為 28%(@scaling01)。

    • 來源混雜:teortaxes 指出,Cognition 的圖表混用了模型卡得分和獨立測量的得分(@teortaxesTex)。

  • 成本比較並不可靠:teortaxes 認為,直接比較 Haiku 5.5 和 V4.1-1017 的標價會扭曲實際成本。這種比較採用 DeepSeek 的最高定價,忽略 Haiku 的長上下文附加費,也沒有反映 Haiku 的輸出 token 數量約為 2 倍(@teortaxesTex)。

  • 重新界定「Benchmaxxing」:nrehiew 認為,認真的實驗室很少會用測試集訓練。按照這種看法,得分差距主要反映各實驗室在後訓練階段針對哪些能力作出取捨(@nrehiew_)。

  • 新評測:

    • Gym-Anything-RT:這些即時迷你遊戲會在模型思考期間繼續進行。最佳模型 GPT-6 Astra 得分 9%(@PranjalAggw16)。

    • Immigration Bench:Vals 發布由專家撰寫的簽證及移民身份問題與評分準則(@ValsAI)。

    • BallotBench:九個 Agent 各有 $500,即時預測 2026 年中期選舉的全部 863 場競選(@thoughtfullab)。

安全、對齊與模型來源

  • DeepSeek V4.1 Flash-1017 的評估過度歸因:一項獨立評估發現,該模型將 69 段真實用戶對話中的 32 段判定為評估。作者報告指,該模型在 EvalDetectBench 上的假陽性率為 46.4%(@ZhihuFrontier)。

    • 基準測試曝光度:與公開基準測試相比,私有基準測試引起的評估意識較低。作者認為,單靠公開基準測試結果,未必能預測模型部署後的表現。

  • 視覺引導:Google DeepMind 與 Stanford 的一篇論文發現,在上下文中加入紅心圖像,會令 Claude Opus 4.7 和 GPT-5.4 每次都撰寫遞迴程式碼(100%)(@dair_ai)。

    • 解釋:模型給出的解釋與其行為不符。對 GPT-5.4 而言,74.7% 的推理軌跡都給出了錯誤原因。

  • 對齊技術:

    • GRAFT(Anthropic):偵測到獎勵作弊後,更新只會作用於訓練後會刪除的參數。Anthropic 表示,這也能阻止監察器無法偵測的作弊(@dl_weekly)。

    • 內置測謊器:內置於 Qwen3.5 權重中的偵測器,在 28k tokens 中標記出 91% 的謊言,且沒有任何假陽性。即使告訴模型「監察器已關閉」,結果也不會改變(@divagr1925)。

  • 蒸餾指控(未經證實):據報 The Information 指 Kimi K3.1 Pro 是以 GPT-6 Astra 蒸餾而成(@kimmonismus)。

    • Giotto:另外,這款被稱為「歐洲主權 AI」的 Giotto,被批評是以 Kimi 為基礎的模型。批評者指出,其基準測試結果已達飽和,而且其 EULA 禁止用戶公佈自己的基準測試數據(@oneill_c)。

編碼 Agent 與開發者工具

  • GitHub Copilot Fusion:Fusion 在執行階段協調 Anthropic 和 OpenAI 的模型(@ArtificialAnlys)。

    • 獨立測試結果:在 AA Coding Agent Index 上,Fusion 在 Claude Code 中的得分比 Opus 5.5 低 2 分。每項任務的成本為 $5.59,而該配置的成本為 $11.42;每項任務使用 7.2M tokens。它以 71 分領先 Terminal-Bench 4.0。

    • GitHub 的説法:GitHub 表示,成本最多可降低 77%,執行速度可提升 40%。GitHub 亦推出了 Copilot automations 和支援多個儲存庫的 Copilot Projects(@kdaigle)。

  • T3 Code 多機器協調:一個對話串可驅動多個模型、執行框架和機器。單一 MCP 伺服器可透過互聯網控制整個機羣,而非透過電腦操作功能(@theo、MCP 示範)。

  • 執行框架開銷:30 個開源編碼執行框架的預設系統提示詞,長度由 goose 的 235 tokens 至 Gemini CLI 的 11,974 tokens 不等,尚未計算任何工具定義(@nathanhabib1011)。

  • Agent 訓練與能力:

    • 後訓練課程:Hugging Face 發布了一套五步驟的 Agent 後訓練課程,在實際執行框架中由 SFT 開始,進展至 RL(@SergioPaniego)。

    • Opus 5.5 遊戲:Simon Willison 認為,10 月是轉捩點,因為 Opus 5.5 製作的遊戲確實好玩(@simonw)。

  • Lor:Lor 的 Agent 會編寫程式碼並進行為期多日的實驗,每次數以百計;產品目前處於私人測試階段(@mirendil)。

研究:架構、訓練與理論

  • H-Net v2 (Cartesia):H-Net 從原始位元組端到端學習詞元化(@_albertgu)。

    • 結果:受控擴展實驗顯示,效率提升 3–5x。在更大規模下,該模型所需的數據和運算量約低 10x,表現便媲美一個以 11T 個詞元訓練的開放模型。

    • 程式碼:H-Net 學會將變數名稱視為獨立詞元,在程式碼上的擴展能力也勝過 BPE(@tri_dao)。

  • NanoGPT 速度挑戰紀錄:透過為罕見的重複內容提供檢索增強 n-gram 提示,紀錄由 39.9s 縮短至 6.7s(@hermanbrunborg)。

  • OpenAI 聲稱推翻 ETH:這項主張提出一個執行時間為 2^{O(n/√log n)} 的 3-SAT 演算法,並以 Lean 形式化。該演算法以代數方式編碼解的數量,再將其重建(@ZhihuFrontier)。

    • 實用性:除非 n 大到天文數字般龐大,否則該演算法會退回指數時間(@beenwrekt)。

    • 解説:Mark Sellke 發布了大綱投影片(@MarkSellke)。

  • 小型專用模型:Samaya 以兩階段 SFT 和兩階段 GRPO,對 Nemotron 3.5 Lightning(總計 30B,啟用 3B)進行後訓練。它在 FrontierFinance 上取得 58.9%,高於 Fable 5.1 的 55.9%;價格為 $0.61,Fable 5.1 則為 $6.89(@maithra_raghu)。

  • 檢索與記憶:

    • EmbeddingGemma 2:這款開放式 744M 多模態嵌入模型採用模組化編碼器,僅處理文字時的參數量為 271M。在 MTEB Multilingual v2 上得分 61.36(@dair_ai)。

    • EMMA:這個系統透過情節記憶改善多代理設定,表現最多比 GEPA 和 ADAS 高 32.5%(@omarsar0)。

  • 網絡上的 AI 文字:截至 2026 年 8 月,約 24% 可爬取的網頁包含 AI 生成或編輯的文字(@omarsar0)。

推理與硬件系統

  • KV 快取工程:

    • AKV(清華大學與香港中文大學):這個服務引擎新增「drop」和「repos」快取操作,可降低 Agent 成本 27.7%,並將 P95 延遲改善 1.51x(@TheTuringPost)。

    • DRAM 卸載:SemiAnalysis 指出,在 B200 上以 CPU DRAM 作為 SGLang HiCache 的卸載目標,於 12–16 個 Agent 工作階段並行時,可快取詞元增加 20–40%(@SemiAnalysis_)。

    • 快取收費:cHHillee 認為,按實際快取命中收費會令服務供應商有誘因避免快取命中。他較支持按理論命中或基於 TTL 的命中收費(@cHHillee)。

  • 開放式執行環境:

    • Modular MAX:Modular 開放了完整的 MAX 原始碼,包括編譯器、執行環境和硬件後端,而且不收取權利金(@cristianoamon)。

    • MLX:近期的核心程式令批次解碼速度提升 2–3x,融合 SDPA 的速度提升 1.4x(@zcbenz)。

    • NF12:無損 12-bit BF16 格式令 Qwen3-32B 的詞元生成速度提升 1.23x(@sylvie_l)。

  • 封裝:ASE 為 AMD Venice 採用的面板級封裝,每塊面板可容納 25 個中介層,較每片晶圓的 22 個為多。生產將於 Q1 2027 開始(@SemiAnalysis_)。

語音、影片及多模態模型

  • NVIDIA Nemotron 3.5 Transcribe:這款開放權重 30B MoE 模型約有 4B 啟用參數,可處理 40 種語言、説話者歸屬、翻譯及音訊問答(@NVIDIAAI)。

    • 獨立測試結果:在 AA-WER 上得分 2.8%,與 Voxtral Small 並列開放模型第 #1。它在 DeepInfra 上以 75x 速度倍率運行,每 1,000 分鐘收費 $2(@ArtificialAnlys)。

    • 部署:vLLM 首日即支援此模型,並支援 BF16、FP8 及 NVFP4 權重(@vllm_project)。

  • AssemblyAI-TTS-1:模型每 1M 個字元收費 $15,首次輸出音訊需時 90 ms(@AssemblyAI)。

    • 獨立測試結果:Artificial Analysis 在 Provider Voice 將其列為 #12,在 Controlled Voice 列為 #10。它每秒生成 162 個字元(@ArtificialAnlys)。

  • 圖像轉影片基準測試:Artificial Analysis 推出 AA-Video-I2V v2.1(@ArtificialAnlys)。

    • 領先模型:Seedance 2.5 排名 #1,每分鐘 $34.12。開放權重模型 MiniMax H3 排名 #3,每分鐘 $4.80。

業界與政策

  • OpenAI API 額度:ChatGPT Pro 訂戶可按級別每月領取 $100–$500。Business 方案每個工作區最多可共享 $500(@OpenAIDevs,級別)。

    • Dot 短訊功能:ChatGPT dot 現向美國 Pro 用戶提供短訊功能預覽(@ChatGPT)。

  • Anthropic S-1 會計處理:Jamin Ball 表示,約 $80B 的 H1'26 淨虧損主要來自可轉換票據及 SAFE 負債按市值計價後增加,並非營運虧損(@jaminball)。

    • Q3 財務資料:他亦指出,草擬版 S-1 未有列出 Q3 財務資料屬正常(@jaminball)。

  • Particle 發布:particle-1 聲稱只用少約 45% 的 tokens,效能便可媲美原有水平(@Suhail)。它以 DeepSeek V4.1 Flash-1017 為基礎打造(@teortaxesTex)。

  • Databricks 與 Snowflake:Snowflake 行政總裁稱市場已見頂後,Ali Ghodsi 公開向 Snowflake 推介 Unity Gateway(@alighodsi)。

熱門推文(按互動量排序)


AI Reddit 回顧

/r/LocalLlama + /r/localLLM 回顧

1. 開放權重模型發布:LFM3 及 Ling 3.1

  • LiquidAI/LFM3-1.7B · Hugging Face(活動:582):Liquid AI 發佈了 LFM3 系列,核心型號為 LFM3-1.7B:一個 1.73B 經後訓練的文字模型,採用 24 層三混合架構,包括 13 閘控短卷積、5 滑動視窗注意力層,以及 6 全域注意力層,支援 256K token 上下文長度,並可透過約 1 GB 4-bit 方式部署於邊緣裝置。更廣泛的發佈內容包括 VL-2B、Audio-2B、Omni-2B、決策模型 d1-2B / d1-Omni-2B,以及 1.7B base checkpoint,支援文字、視覺、影片、音訊、語音輸出,以及單次推理的校準決策任務。據報,llama.cpp 支援已透過合併 PR #31257、#31252 和 #31275 加入,讓用戶可在本機使用 GGUF 推理工作流程。

  • Ling-3.1-flash-1019 權重已推出,亦發佈了基礎模型(活動:277):這張圖片是 Artificial Analysis Intelligence Index v4.3.2 長條圖,顯示 Ling-3.1 Flash 1019 的評分為 44,在排行榜中游,排名接近 GLM-5.0、Step 5 Preview 和 Kimi-K3。貼文提到,Hugging Face 現已推出 inclusionAI/Ling-3.1-flash-1019 的權重:這是一款總計 560B、啟用 25B 的 MoE 模型,具備 1M 的上下文視窗;另外亦有 BF16 基礎檢查點 Ling-3.1-flash-base,可供進一步訓練。作者亦指出一個實作上的注意事項:SGLang README 範例仍指向舊的 inclusionAI/Ling-3.1-flash 路徑,應改為 inclusionAI/Ling-3.1-flash-1019。留言者質疑 Ling-3.1 Flash 1019 是否比 DS41F 1017 更理想;據報,後者的評分高 1 分,並透過 engram 加原生 MXFP4/MXFP8 支援,使用較少執行資源。其他人讚賞其寬鬆的 MIT/Apache 類型授權,但指出自己未必能執行如此大型的模型;亦有用戶表示,自己以往試用的 Ling 模型曾出現問題。

    • 有留言者質疑,從技術角度而言,Ling-3.1-flash-1019 是否優於 DS41F 1017;留言者稱,DS41F 在所提及的基準測試中高出 +1 分,而且憑藉 engram + 原生 MXFP4/MXFP8 支援,執行成本更低、速度更快,並且「啟用參數少得多」。這反映了主要的技術取捨:基準測試表現相若,與推理效率及量化/執行支援之間的取捨。

    • 多則留言關注發佈內容是否易於使用,而非排行榜分數:用戶指出新推出的基礎模型及 MIT/Apache-2.0 等寬鬆授權的價值,但有用戶表示,自己測試過的舊版 Ling 模型屢次出現質素或可靠性問題。另有留言者反駁 GLM-5.3-flash 與 Ling-3.1-flash 的基準測試成績相若,認為基準測試分數相近,未必代表實際使用時的質素相當。

2. Qwen:1M 上下文、URL 追蹤爭議、Qwenputer

  • Qwen4 1M 上下文視窗(活動度:386):一則 Reddit 貼文聲稱,Qwen4 模型將支援 1M token 的上下文視窗,並引用一個 qwen-code GitHub PR: QwenLM/qwen-code#15762。貼文稱,Qwen4-27B 未有列於其中,但預計會在 Apsara Netherlands 公佈;而 Qwen4-Max 顯示的日期似乎是 October 1st/November 1st,由於日期不一致,很可能只是佔位符。留言者大多抱持樂觀態度:一人指出,Qwen/QFN 中的 262k 上下文已相當實用,但自己「已被 1M 寵壞了」;另一人則期待 Qwen4 27B 能帶來重大升級。

    • 用戶指出,1M 的上下文視窗是相較於 Qwen/QFN 262k 上下文的一項重要升級需求;有留言者指出,架構已有足夠改進,讓他們能在本機或工作流程中切實容納/使用更長的上下文。

    • 有人猜測即將推出的 Qwen4 模型版本,尤其期望 Qwen4 27B 能帶來大幅升級;而來自 PR 的 qwen4-omni-120b-think,則被一名留言者解讀為可能是新的 Flash 風格模型。

    • 一名留言者要求推出更好的 Q38FN 版本,重點不要放在規模,而是改善訓練數據的品質、剔除「無用的產物」,並以更高質素的世界知識取而代之;他強調,整理數據集是提升品質的一條途徑。

  • 駁斥 Cohere 關於 Qwen 3.8 Flash Next 上載至 Alibaba 遠端 URL 的説法(活動度:1461):貼文認為,Cohere 指稱 Qwen 3.8 Flash Next 會「回連」的説法言過其實,因為他們公佈的 HF 軌跡據稱先向模型提供一段 2,323 token 的前綴,並在 URL 前剛好結束,實際上是把模型變成受限的 URL 補全生成器,並不能證明它具有自主網絡意圖。貼文又指出,Cohere 行政總裁向 The Register 表示,他們「沒有證據」顯示該行為是故意的,而且相關情況出現於少於 1 / 100,000 次呼叫;原始提示詞含糊,很可能誘使模型產生虛構的偵測規則內容。留言者大多認為,這件事提醒大家應在沙盒中執行 LLM Agent,並預設將生成或檢索到的程式碼視為不可信或惡意內容。多名留言者認為,Cohere 的披露是營銷/宣傳,或是對 Qwen/Alibaba 的惡意攻擊,而非確鑿的安全性結論。

    • 一名留言者強調,不論 Cohere 對遠端上載的具體指控是否成立,Agent 執行框架都應將來自人類、公司或 LLM 的不可信程式碼視為惡意軟件。他特別指出,有些用戶會對權限提示採取「YOLO」態度,並認為 Agent 應在適當的沙盒中執行,以防止意外存取網絡或檔案系統。

  • 有人直接在 Qwen 的模型權重內建構了一個 32 位元 RISC-V CPU,令它可以在內部執行指令!(活動:1045):一個名為 Qwenputer 的項目修改 Qwen3.5-4B 的權重/層,在模型的前向傳遞中嵌入虛擬 32-bit RISC-V 類 CPU 執行路徑;項目的介紹文章、模型及示範可於 divagr.com/blog/qwenputer、Hugging Face 及 ModelScope 查看。評論者指出,關鍵機制似乎是原生工具執行:當 Qwen 輸出 <tool_call>,例如 calc、put、get 或 list 時,新增的「電腦層」會在前向傳遞期間攔截它,在虛擬 RISC-V 處理器上執行程式碼,並在內部逐個 token 生成 <tool_response>。主要的技術疑慮是,這或許只是低效而新奇的工具呼叫方式,而非根本創新的執行模式;不過,有評論者認為,極端的沙盒隔離或可帶來安全優勢。另一位評論者則偏好相反方向:直接在晶片電路中實作 Qwen 權重,但指出現行做法成本高得令人難以負擔。

    • 評論者澄清,這個項目似乎更接近原生/攔截式工具執行,而非在一般 token 生成過程中任意進行「CPU 推理」。連結中的模型卡指出,Qwen 會輸出 <tool_call>,例如 calc、put、get 或 list;自訂的「電腦層」會在前向傳遞期間攔截它,在虛擬 32 位元 RISC-V 處理器上執行,並逐個 token 寫回 <tool_response>(Hugging Face)。

    • 主要的技術疑慮是,與傳統的外部工具呼叫相比,這或許只是低效的新奇做法。有人提出一項可能的優勢:沙盒隔離/安全性。由於執行是在模型流程中嵌入、受限制的虛擬 RISC-V 環境內進行,工具的行為或許比一般在主機端執行工具更能受到隔離。

3. Artificial Analysis Index v5 基準測試風波

  • Artificial Analysis Intelligence Index v5(重大更新)(活動:960):Artificial Analysis 將其 Intelligence Index 更新至 v5,並稱這是一次重大的方法改動;貼文指出,該指數現時有 60% 依賴私人測試集或保留答案,限制了結果的可重現性。據報,新排名將開放權重模型與封閉模型之間的差距由 3 分擴大至 12 分:Kimi K3.1 Pro 以 46 分成為排名最高的「開放權重」模型,儘管其權重尚未發布;已發布權重的模型 DeepSeek V4.1 Flash 1017 和 GLM-5.3 則以 32 分領先,低於得分 36 的 Claude Haiku 5.5,並落後總排名第一的模型 26 分。評論者對更新的時機和方法表示懷疑,認為當開放權重模型的表現接近閉源頂尖模型時,基準測試的定義往往會改變。部分人亦在沒有證據下猜測,這次更新的時機可能與 Anthropic 的 IPO 敍事有關。

    • 多位留言者聚焦於基準測試方法的變動,認為 Artificial Analysis Intelligence Index v5 更新似乎擴大了開放權重模型與封閉模型之間的測量差距,而此前開放模型才剛接近前沿模型的評分。技術層面的相關疑慮是,改變基準測試的組成或權重,可能會大幅影響模型排名;但討論串沒有提供具體的指標差異、任務層級細分資料,或可重現的證據。

    • 有留言者特別提到 Kimi K3.1 Pro,稱它是開放模型在評分規則改變前曾接近前沿模型表現的例子。不過,討論中沒有提供基準測試分數、評測類別,或與特定封閉模型的比較,因此這項説法仍屬於對方法論的批評,而非有數據支持的分析。

  • AA 現在愈來愈離譜。「最具吸引力象限」中沒有任何開放權重模型。(活動:519):這篇帖文批評 Artificial Analysis (AA) Index v5.0,因為據稱其「最具吸引力象限/區域」中沒有任何開放權重模型;而較早版本曾把 DeepSeek、GLM、Kimi 和 Qwen 列在較接近具吸引力區域/帕累托前沿的位置。作者指出,分數可能仍在更新中,並附上人工填入資料的 AA 圖表作比較,但認為由此呈現的智能程度/效率視圖,對開放權重模型仍然系統性地資料稀疏:AA 圖表。一則熱門留言引用一段動畫,聲稱 AA 從4.1轉換至4.3時,OpenAI 的分數出現不成比例的躍升,而其他模型大致維持原有比例,令部分用戶不再信任綜合指數,轉而偏好子項基準測試。留言者指稱 AA 的指數變動可能偏袒封閉/專有模型供應商,並猜測此舉或與面向投資者的形象或 IPO 誘因有關;另有人開玩笑説,開放權重模型保持低調反而更好。

    • 有留言者指出一段比較 AA 不同版本的動畫4.1至4.3,認為圖表方法似乎不穩定,因為OpenAI 的位置大幅上升,而其他模型大致維持原有比例。他們表示,這種不連貫令他們降低了對該基準測試可靠性的信任。

    • 多位用戶質疑 AA 的「每項任務成本」估算,表示實際觀察到的 API 使用情況與圖表不符。一個例子稱,DeepSeek V4.1 Flash 和 GPT Sol 的實際輸出表現相近,但 GPT Sol 的成本並非圖表所示的大約 2x,而是「至少貴五倍」;另一人則表示,GLM 5.3 Flash 只花 $0.09 便完成一項任務,而據稱 Astra 完成相近工作則花費約 $20。

    • 一項技術層面的批評針對模型排名是否準確:有用戶表示,Terra 的排名高得可疑,因為在用戶測試中,它據稱只完成部分工作,便聲稱已完成任務。這或許表示基準測試過度看重範圍狹窄的評測表現,或未能充分偵測任務未完成的情況。

較少技術性的 AI 討論區摘要

/r/Singularity, /r/Oobabooga, /r/MachineLearning, /r/OpenAI, /r/ClaudeAI, /r/StableDiffusion, /r/ChatGPT, /r/ChatGPTCoding, /r/aivideo, /r/aivideo

1. Gemini 4 Carbon 前沿基準測試

  • Gemini 4 Carbon(活動:2434):這張圖片是一張基準測試比較表,帖文將該表歸於 X 上的 @GoogleDeepMind,並以 Gemini 4 Carbon 與 Gemini 4 Argon、GPT-6 Astra、Claude Opus 5.5 及 Claude Fable 5.1 作比較。表中聲稱 Gemini 4 Carbon 在多個技術類別中領先,包括編碼、代理式電腦操作、多模態理解、長上下文、科學/數學及網絡安全,並在 AA Index、 SWE-sweep、 Terminal-Bench、 Agents’ Last Exam、 GraphWalks、 RiemannBench及 SEC-bench Pro等基準測試中取得最高分。Reddit 帖文沒有提供方法、數據集版本或獨立驗證,因此這張表較適合視為廠商式基準測試摘要,而非可重現的評估結果。

    • 留言者指出,儘管模型看來有所進步,Gemini 4 Carbon 據報尚未公開提供,而且可能只限特定「網絡安全團隊」使用;帖文亦沒有提及發布日期。這令外界無法獨立測試或驗證任何聲稱的效能提升。

  • Alphabet 推出 Gemini 4 Carbon,下一款前沿模型。(活動:1588):一則 Reddit 帖文聲稱 Alphabet/Google 正推出 Gemini 4 Carbon,作為下一款前沿模型,並提及基準測試;但所提供的節錄沒有基準測試數字、任務、方法、模型卡、發布説明或來源連結,無法從技術層面驗證此説法。熱門留言大多對 Google 的模型推出節奏及使用權限抱持懷疑或不滿:用戶抱怨Gemini 3.1 Pro長期沒有更新,Argon推出時間短暫或難以使用,並希望 3.1 被棄用或取代。

    • 一些留言聚焦於近期 Gemini 預覽模型的嚴重使用限制/速率限制,有人聲稱用戶「用 Argon 連 3 個提示詞都拿不到」,另有人誇張地稱「每週只有 1 個提示詞」。雖然討論並非圍繞基準測試,但帖文暗示,推出新模型的容量及額度政策,可能在評估 Gemini 4 Carbon 這類前沿模型之前,已成為實際障礙。

    • 一則較具體的延遲發布辯護指出,前沿模型發布需要時間加強基礎設施安全,尤其是在近期發現網絡安全問題之後。留言者表示,若即時發布,軟件基礎設施便「完全沒有時間作出反應和修補」,令部署期間更容易受到不法分子攻擊。

2. Claude Code 額度及 Token 回歸報告

  • Claude Code 今日用量暴增 8 倍。Anthropic 確認服務錯誤會消耗付費配額,而且不會向用戶作出補償(活動:2418):一名 Claude Pro 用戶表示,10 月 27 日 Claude Code 配額異常消耗,本機 ccusage總量由此前有記錄日子的每日平均值 161M總 token 數/303K輸出 token 數/$41.17API 等值成本,升至 1.306B總 token 數/7.97M輸出 token 數/$493.04,分別約為 8.1x、26.3x 和 12x(附圖)。據稱 Anthropic 支援人員確認,當日發生兩宗已解決的 Claude Sonnet 5.5 錯誤率升高事件,並表示服務錯誤引發的重試「會計入用量限制」,確認該用戶的 Pro 用量受到影響,並稱重試及事件期間的用量不能退款、補發額度或作出補償。留言者認為這是嚴重的收費/配額計算問題:一名 Max 方案用戶稱,其 $200 方案一天內消耗了 70%,平常則為 10–15%;其他人批評 Anthropic 拒絕作出補償。少數留言認為,偶爾重設或提高限制可能是 Anthropic 默許的緩解方式,但未有提供具體政策詳情。

    • 多名用戶表示 Claude Code 配額消耗量明顯增加:一名$200 Max 方案用戶稱,過去一般一天只會用掉每週配額的 ~10–15%,但如今一天內便消耗了 70%;另一名 Pro 用戶則稱,只問了 2 條問題,在 4 minutes 內合共約 250K tokens,便耗用了每週用量的 2%。

    • 一名分析 5 小時限制的用戶稱,實際上限似乎低於預期,並分享截圖,顯示配額意外地迅速耗盡:https://preview.redd.it/wdut6kwym2yh1.png?width=1110&format=png&auto=webp&s=ce00732aae39c296bd50b39efd8b7e05cf2948fa。另一名留言者估計,即使「仔細控制」上下文,配額消耗速度仍比平常快約 2x–5x,可能反映計算方式變更、服務錯誤仍按 token 計費,或計量異常。

  • 根據我對 Claude Code token 的分析,Claude 的表現比上週差 3.8 倍(活動:1411):圖片是一張深色主題的 Claude Code/Opus 5.5 token 用量比較表,展示發帖者聲稱的效能倒退:本週消耗了每週配額的 65%,卻只產生 2.04M 個輸出 token,對比上週的 11.94M;「每 1% 限制的輸出量」由 119K 降至 31K,而「每 1,000 個輸出 token 的加權用量」則由 78K 升至 296K,被解讀為效率差約 3.8×。結合上下文,帖文將此歸因於 Claude Code 執行框架/協調流程可能有所變更:子代理重新讀取父級上下文、採取更多步驟、更頻繁地啟動、讀取檔案時互相重疊;尤其當子代理的上下文超過約 350K 個 token 時,表現會轉差。圖片 留言者表示也遇到類似而原因不明的配額消耗,並批評Anthropic在未作説明的情況下更改執行框架,包括據稱移除前景子代理,以及限制自主啟動新工作階段。一名留言者認為,問題可能分別涉及模型品質和Claude Code 執行框架,並指出執行框架版本變更或可解釋 token 用量增加。

    • 數名評論者區分了Claude 模型與Claude Code 的執行框架,認為近期 token 用量增加,可能源自執行框架或版本變更,而非單純由模型質素造成。一名評論者建議按版本查詢 Claude Code 的執行框架變更,並聲稱這可以解釋 token 用量上升;另一名評論者則表示,在工作流程沒有變更的情況下,每週 Premium 用量由約 15% 上升至 33%。

    • 一名評論者指出,Claude Code 的協調機製出現了未有文件記錄的行為變更:據稱,子代理已不能在前景執行;除非某一輪對話由用戶訊息發起,否則工作階段也不能再自行啟動新工作階段。他們形容這些變更在沒有通知下發生,並破壞工作流程,影響自動化及工作階段管理模式。

    • 一名用戶分析了四個 Claude Code 工作階段的錯誤模式,列出 Claude 在 24 hours 內承認出錯的 26 次情況。例子顯示,問題可能包括反覆依賴未經核實的假設、誇大數量、回答兜圈子、沒有檢查記錄檔或建置狀態,以及更改先前已獲批准的決定;這可能反映代理可靠性或脈絡管理能力下降。

3. Claude Opus 5.5 的數學突破主張

  • 這有多重大?Claude Opus 5.5:「如果這些結果經得起檢驗,這將是數學和理論計算機科學史上最重大的單日突破。」(活動:1406):帖文聲稱,Claude Opus 5.5 得出了若屬有效便足以載入數學及理論計算機科學史冊的結果;但 Reddit 回傳 403 Forbidden,因此無法核實連結中的 Reddit 圖集。技術討論集中於據稱在高階未解問題上取得的進展,包括有評論提及 Yang–Mills/QFT 基礎,以及經整理的未解問題追蹤平台,ProofAtlas。該平台的維護者聲稱,6 個問題在「昨天」獲得解決,其中包括排名前 100 的問題中的 4 個,另在問題 #3 上取得部分進展;他們亦聲稱,OpenAI 於 10月6日發布的版本解決了 90 個問題,其中包括排名前 100 的問題中的 10 個,另在問題 #2 上取得部分進展。評論者認為,關鍵不在於某個特定定理,而在於 AI 系統能否在具備足夠正確性保障的情況下,可靠地解決這種複雜程度的問題。一名 QCD 研究人員形容,證明與 Yang–Mills 相關的基礎理論將是非凡成就,同時指出,完整證明質量間隙會對整個領域帶來更大改變。

    • 一名從事 QCD 研究的評論者指出,這項據稱取得的成果可能成為量子場論的基礎性成果。他表示,Yang–Mills/QFT 的基礎理論在數學上歷來並不完整,儘管相關理論已作出極為精確、並經實驗驗證的預測。他特別指出,證明 Yang–Mills 將是重大成就,而證明質量間隙則會是影響更深遠的里程碑。

    • 一名評論者連結到一個持續更新的主要數學問題追蹤平台:ProofAtlas 未解問題,並聲稱一天內有 6 個列出的問題獲得解決,其中包括排名前 100 的問題中的 4 個,另在問題 #3 上取得部分進展。他們亦聲稱,OpenAI 於 10月6日發布的版本解決了 90 個問題,其中包括排名前 100 的問題中的 10 個,並在問題 #2 上取得部分進展,意味著 AI 輔助數學研究的產出速度有所加快,而且這種加快可以量化。

    • 一則偏技術的討論串指出,關鍵問題不在於某個特定定理,而在於 AI 系統能否以足夠高的預期正確率,可靠地解決複雜程度達到這個級別的問題。留言者將此事與遞迴自我改進聯繫起來,認為 AI 帶動的晶片設計、軟件開發及數學/電腦科學進展,可能形成回饋循環,提升未來 AI 的能力。

  • Claude 內部研究模型亦於 10 月 16 日獨立推翻了指數時間假設,輸出了 14M 個 token,全程沒有人工輸入。(活動:1351):這張圖片是 X 貼文的截圖,聲稱 Claude 內部研究模型獨立找到了一個推翻指數時間假設(ETH)的「核心演算法」,日期為October 16,並在14M中輸出了約沒有任何人工輸入的內容。這則 Reddit 貼文連結至 Anthropic 的formal-math/eth儲存庫,暗示 Anthropic 研究人員其後藉助 Claude 進一步完善了這項結果,整理成較易呈現的證明/論文成果。留言者對發佈時間和表述方式抱持懷疑,有人認為這看起來像是在回應 OpenAI 類似的公告:「我們也解決了,看看我們能做到甚麼。」其他人質疑推翻 ETH 對現實世界有何影響,並開玩笑説,前沿 AI 的競爭優勢可能取決於是否擁有龐大的 GPU 運算能力,而非持久的演算法護城河。

    • 有留言者詢問推翻指數時間假設(ETH)對現實世界有何影響,尤其是實際系統或假設是否依賴 ETH 成立。這把該結果視為複雜性理論上的突破,其影響可能較為間接:ETH 廣泛用於推導條件式下界,因此推翻它可能令許多關於問題難度的假設失效,但不一定代表即時便能找到實用演算法。

    • 一則與技術相關的討論串提到 Levent 過往參與的自動化數學研究,以及大型模型定理證明實驗,包括Yang–Mills LLM experiment儲存庫:https://github.com/ethanwsussman/Yang--Mills-LLM-experiment。留言者亦提到 Levent 曾參與早前備受矚目的數學研究,認為 Anthropic 的成果或許反映了 LLM 輔助攻克重大未解問題的更廣泛趨勢,而非孤立的 ETH 聲稱。

    • 另一位留言者認為,如果競爭對手能擴大規模,擁有「多到足以媲美一個國家的 GPU」,這類成果便難以建立穩固的防禦優勢或「護城河」。從技術角度看,前沿數學研究或會愈來愈受運算規模和推理預算限制——貼文聲稱輸出了14M個 token,且沒有人工輸入——而非單靠獨特的演算法優勢。

來源:Latent Space · latent.space