CulturalRiddles:涵蓋多元文化的謎語基準測試
CulturalRiddles 是一項由社羣參與創作、全由人類撰寫的文化謎語基準測試,涵蓋 62 種文化、45 個國家及 51 種語言。研究以自動評估和大規模人類評估測試 28 種 LLM 配置,發現前沿模型在部分社羣中的準確率最高只有 22%。所有基準資料均公開,並開放社羣投稿以擴展語言和文化範圍。
CulturalRiddles 是一項由社羣參與創作、全由人類撰寫的文化謎語基準測試,涵蓋 62 種文化、45 個國家及 51 種語言。研究以自動評估和大規模人類評估測試 28 種 LLM 配置,發現前沿模型在部分社羣中的準確率最高只有 22%。所有基準資料均公開,並開放社羣投稿以擴展語言和文化範圍。
Cohere Labs 團隊推出 CulturalRiddles,以 6,200 道由社羣成員創作的謎語,評估大語言模型對 62 個文化社羣的理解;資料涵蓋 45 個國家和 51 種語言。
Railway 於 2026 年 10 月 21 日發現外部攻擊者讀取部分客戶已解密的環境變數,隨後暫停所有新部署。公司表示,事件屬於針對基礎設施公司的更廣泛攻擊行動,最終目標是入侵 AI 推理服務供應商;公司未公佈受影響帳戶數目。Railway 建議所有用戶輪換 API 金鑰、資料庫及私有登錄庫憑證;已部署的項目仍在運作,但調查完成前無法推出新版本。
Strata 0.2.2 正式發佈,新增多顯示卡角色管理,並令 Gyro 量化模型在部分 NVIDIA 顯示卡上的推理速度提升最高約 30%。用戶可把顯示卡設為 Main、Helper 或 Off;RTX 3060 12GB 上 Gyro-S 由 53.6 tok/s 升至 62.8 tok/s,Gyro-M 由 50.6 tok/s 升至 56.1 tok/s。
作者設計一套面向可持續水產養殖監測的機率圖神經推理系統,結合池塘間的水文連結、未來狀態的不確定性及即時政策約束。架構以帶閘控的圖神經網絡和 GRU 處理時空資訊,並採用具變分推理的潛變量圖神經網絡;深度集成的推理成本為 5–10×,不適合池塘控制器的邊緣部署。
Lean 證明生成可利用編譯器的錯誤診斷,局部修正未通過檢查的證明步驟,而非直接丟棄候選並重新抽樣。這種有次數上限的逐步修復會保留已驗證的證明狀態,修正成功才提交;若診斷含糊或需要全局修改,局部修復可能作用有限。
16 歲的 Afonso Faro 分享他約一年來打造自有大語言模型 Ganymede 的經驗,並整理五項訓練心得。Ganymede 1.1 採用 MoE,總參數量為 780B、每個 token 約啟用 20B;模型以約 5T tokens 公開網頁文字和開源程式碼預訓練,並使用分佈於法國、葡萄牙和荷蘭數據中心的 450+ 張 H200 GPU 訓練。
OpenAI、PerturbAI 與 Scripps Research 使用數千個由 GPT-Rosalind 驅動的 AI 智能體,在 32 分鐘內分析數百萬個小鼠腦細胞的既有實驗數據,並將結果整理成公開的推理圖譜。
Roman Tsisyk 表示 EAGLE-4 發佈版本無法在 Mac 運行,因此改在 M2 Ultra 上測試 oMLX 0.7.1rc1 的 MTP。在思考模式關閉時,MTP 令 Qwen3.8-27B 編碼生成快 92%,但令 Ornith-1.5-35B-A3B 一般文字生成慢 19%。MTP 開啟後,8 個測試情境中有 7 個的輸出文字不同;作者尚未評估輸出質素。
研究比較封閉集合決策中的聯合評分與逐選項評分,結果顯示在 32 million 參數設定下,逐選項方式表現較佳。在 37 個基準決策套件的留出樣本上,三個 seed 試驗中逐選項方式按相同 optimizer steps 和近似相同訓練計算量,分別高出 5.8 和 2.8 個經機會校正的技能分,但需要多 5 至 13 倍編碼器運算次數。
這項研究聯合調整擴散努力程度與 speculative decoding 的接受寬鬆度,探索推理速度與輸出品質之間可達的帕累托前沿。實驗顯示,聯合調整這兩項參數,較單步擴散草稿生成可進一步擴展速度與品質的帕累托前沿。
Zain Asgar 認為,AI 推理需求及電力、記憶體頻寬等限制,正推動硬件專用化再次興起,令不同加速器協同配置更受重視。他回顧通用處理器如何靠規模與效能吸收專用架構的優勢,並指出 GPU 單晶片推理效能在十年間提升 1000X,主要增益來自數值格式、指令及稀疏性等改進,而非製程。
Recursive 推出開放權重編碼模型 Flint,OpenHands 在模型推出首日支援它作為軟件工程 Agent 的模型後端。
DeepSeek 以 Apache 2.0 授權開源 DeepInfer,但官方列明的硬件支援範圍是 NVIDIA SM100(B200/GB200)或華為昇騰 950,未包括 RTX 5090。
Baseten 發佈 mammoth-1(27B)與 elephant-1(9B),前者在 Jev Decision Index 排名第 1,後者是領先的 9B 決策模型。
Baseten Base Labs 發佈 9B 的 elephant-1 和 27B 的 mammoth-1 決策模型,並公開權重:https://huggingface.co/baselabs/mammoth-1、https://huggingface.co/baselabs/elephant-1。
DeepSeek 為 TileLang、DeepGEMM、DeepEP、TileKernels、FlashMLA 和 DeepSelect 加入 Ascend 支援,呈現其與華為在硬件、軟件及工程上的互補合作。
PyTorch 現已在 AMD MI350 系列 GPU 上整合 FlyDSL,透過現有 API 支援多類運算子使用加速核心。支援範圍包括 Dense/Grouped GEMM、MXFP scaled GEMM、RMSNorm、TopK,以及經 AOTriton 派送的 F.scaled_dot_product_attention;不支援的輸入沿用現有 PyTorch 實作。
OpenAI、PerturbAI 與 Scripps Research 使用由 GPT‑Rosalind 驅動的數千個 AI 智能體,在 32 分鐘內分析數百萬個小鼠腦細胞的既有實驗數據,找出可供後續研究的生物學線索。
推薦理由:以小鼠腦細胞數據展示分佈式智能體如何串連基因擾動結果與科學文獻,並以單一智能體和盲評比較其分析廣度。
Tomer Tunguz 分析 GPU 每卡時收入階梯,認為按現行價格與效率,大規模推理業務仍可能具備良好經濟性,但前提是需求持續。
StepFun 開放 Step 5 Preview 權重,這款 MoE 模型總參數為 600B,每個 token 啟用 27B。模型採用 92 層架構,支援最長 1 million tokens 上下文,並提供 BF16、FP8 和 NVFP4 權重。評測中,Step 5 Preview 在 SWE-bench Verified 取得 78.2%。
路線圖規劃用 12 週、共 240 小時,將 OBI Robotics 從架構及 CAD 概念推進至可測試的實體原型,並另行開發可量化評估的 Ontological Bayesian Intelligence 推理系統。
ConfigWM 以任務描述引導視覺嵌入向量映射至任務專屬狀態空間,在多種環境中平均勝過最強競爭方法 22.3%。它在物理量探測的 Pearson r 提升 +0.365,在受幹擾至乾淨環境的檢索表現提升 +75.5%。模型在任務專屬狀態空間中學習受動作條件控制的動態,以支援規劃。
這篇教學示範如何在 AWS Trainium 上使用 torch.profiler 和 Neuron Explorer 分析 TorchNeuron 推理效能,追蹤運算由框架派發、runtime 排程至硬件執行的耗時。
vLLM 從首日起支援 Recursive 的 Flint,NVFP4 與 BF16 checkpoint 均可在單張 GPU 上運行。單張 GB200 在 100K tokens 上下文下,單請求端到端解碼速度約為 485 tokens/s。
模型路由會按任務複雜度、推理需求等條件自動選擇模型,讓不同請求在品質、延遲與推理成本之間取得平衡。文章指出,純按成本計算,日活用戶超過 100,000 時模型路由可能已能抵銷成本,推理成本降幅常見為 50%,95% 亦非罕見。但若只把最複雜的 20% 查詢交給前沿模型,中等複雜度案例可能被分配至無法正確作答的低成本模型,形成 Pareto trap,令節省轉化為客戶留存及支援成本。
DeepSeek 的 DeepInfer 推理框架提供離線推理,公開程式碼未涵蓋完整服務所需的周邊元件。README 列出的未包含部分包括 KV cache 系統、視覺編碼器、prefill 與 decode 分離,以及跨數據並行副本的負載平衡;目前支援 DeepSeek-V4.1-Flash、NVIDIA SM100 GPU 和 Huawei Ascend 950 NPU。
Ling3-Tiny-UBTree-B16 是供 inclusionAI/Ling-3.0-tiny 使用的 UBTree 推測解碼草稿模型,結合 5 層 DFlash backbone 與 bigram selector,並行提出候選延續供目標模型驗證。
NVIDIA 於 2026 年 10 月 21 日在柏林 GTC 大會宣佈,DGX Spark 集羣由 4 台擴至 8 台,並更新本地 AI 平台。128GB 版本的統一記憶體達 1TB;64GB 版售價 4999 美元,將於 10 月 23 日開售。
NVIDIA 宣佈 DGX Spark 現已開放手動配置最多 8 台設備組成叢集,128GB 版本的統一記憶體最高可達 1TB。與 llama.cpp、vLLM 開源社羣合作的推理優化,在特定工作負載下令 RTX PRO 6000 Blackwell、DGX Spark 和 DGX Station 的性能分別最高提升 40%、30% 和 20%。
這份實用指南整理 Claude Opus 5.5 的定價、推理設定與 API 變更,並介紹以 Bifrost 管理部署和流量。
推薦理由:文章把 adaptive thinking、effort 設定和快取讀取價格連到 API 遷移與網關部署,整理升級模型及管理生產流量時可核對的實作要點。
GPT-6.1 Sol 實用指南整理 OpenAI 模型的規格、推理設定及生產部署方式,並以 Bifrost 説明如何應對延遲、容量不足與長上下文成本。指南列出 1,050,000-token 上下文窗口、最多 128,000 個輸出 tokens 及 low 至 max 五級推理設定;輸入超過 272,000 tokens 時,輸入費率升至 2 倍、輸出費率升至 1.5 倍。
NVIDIA 在 GTC Berlin 宣佈,多家歐洲車廠及出行服務商正以 Hyperion 展示自動駕駛應用,涵蓋 L3、L4 車輛及未來 Robotaxi 車隊。
NVIDIA 與 Google Cloud 於 2026 年 10 月 21 日在 GTC Berlin 宣佈,首批由 NVIDIA Vera Rubin NVL72 驅動的 A5X 實例已與首位客戶投入運行。
文章示範如何將 n8n 連接至本地 Ollama,建構在自有基礎設施執行的 AI 自動化工作流。範例使用 n8n 2.43.5、Ollama 0.40.4 和 qwen2.5:1.5b,並説明 Docker 網絡設定、結構化輸出及錯誤處理。本地推理不等於端到端私隱,執行紀錄、日誌、備份和外部整合亦可能留存或傳送資料,因此需控制資料保留、網絡連線並檢查流量。
Slot-JEPA 將密集表示分解為可重用的語義槽位與隨時間變化的空間遮罩,為潛在世界模型提供物件結構化介面。其 Transition Memory Predictor(TMP)檢索視覺轉移,並以 Unbalanced Optimal Transport(UOT)監督遮罩預測及評估候選計劃。
IBM 發佈面向 vLLM 的 vLLM-Hook MIA 插件,讓開發者可在推理期間觀察及調控模型內部狀態,支援即時安全檢查。技術報告稱,MIA 速度最高較前身 vLLM-Hook 快 20 倍,較一種透過在模型插入程式碼互動的方法快 14 倍。測試中,對 Llama 8B 和 Qwen 1.5B 的推理額外延遲在部分情況下僅 2%,Llama 70B 的控制開銷則為 6%。
RFD4-Proteina 透過獎勵引導的推理時搜尋設計蛋白質,將蛋白質設計視為搜尋問題。選擇一條 8 個胺基酸的蛋白質序列,可能組合超過 25 billion;若序列長達 100 個胺基酸,可能性更超過可觀測宇宙中的原子數量。
Google Cloud 與 NVIDIA 宣佈,Vera Rubin A5X 執行個體將於下月正式提供,並計劃擴展至歐洲。
NVIDIA 在 GTC Berlin 公佈本地 AI 硬件、軟件及模型更新,涵蓋 RTX Spark、DGX Spark 和 DGX Station,並擴展智能體與本地推理支援。