探索 ARC-AGI:衡量 AI 真正適應能力的測試
ARC-AGI 是 François Chollet 於 2019 年開發的基準測試,用來評估 AI 在未經特定訓練下,能否適應陌生情境並進行抽象推理。測試以網格謎題考驗 AI 推斷規則,並將所學應用於新問題的能力。OpenAI 的 o3 在 ARC-AGI 取得 85% 分數,高於此前最佳的 55.5%,達到人類水平表現。
ARC-AGI 是 François Chollet 於 2019 年開發的基準測試,用來評估 AI 在未經特定訓練下,能否適應陌生情境並進行抽象推理。測試以網格謎題考驗 AI 推斷規則,並將所學應用於新問題的能力。OpenAI 的 o3 在 ARC-AGI 取得 85% 分數,高於此前最佳的 55.5%,達到人類水平表現。
Gemini 4 Neon 在 Models Engineering Index 排名第一,得分為 68.0。該指數評估語言模型在工程任務上的實際表現。
中國汽車技術研究中心推出國內首個汽車智能座艙 AI 能力分級評價體系,分為 C1 至 C5 五級。體系涵蓋感知、執行、自主、進化等八大能力及九大用車場景,並把主觀體驗量化為客觀指標,已開展首批驗證。20萬元以上國產新能源車的座艙 AI 搭載率超90%,2026年國內智能座艙市場規模預計達1800億元。
Magnus 比較 Gemini 4 Argon、Carbon、Hydrogen 和 Neon 的公開評測,分析推理、編碼、多模態任務及每項通過驗收結果的成本。
Alex 比較 Seedance 2.5、Seedance 2.0、Seedance 2.0 Fast、Kling 3 和 Veo 3.1 在 6 家服務商的文字生成影片 API 每秒價格。
中國汽車技術研究中心推出國內首個汽車智能座艙 AI 能力分級評價體系。體系分為 C1 至 C5 五級,將座艙 AI 主觀體驗轉化為可量化的評價指標,涵蓋八大能力和行為屬性,以及九大用車場景。
Qwen4‑Max 預覽版相較 Qwen3‑Max,差異集中在任務定位、原生多模態、智能體動作範圍、發布流程及訂閲計費五方面。預覽版透過 Token Plan 訂閲 Credits 調用,不開放按量計費,並會於 11 月 25 日下線。文章指出,參數量、上下文窗口、完整基準跑分、開源規劃及正式版定價尚未由官方公佈,其他 Qwen4 型號的測試成績不能代表 Qwen4‑Max 的表現。
這項重排序測試使用模型對分數 token 的機率打破平分,讓正確文章在 12 題中的 11 題排名第一,並修正兩題原本因平分而排名下降的結果。gemma3:12b 每題平均需時 94.8 秒;把評分範圍擴至 0–100 並沒有消除平分。模型自身機率只能重新排列同分項目,無法修正沒有平分的錯誤評分。
阿里雲千問(Qwen)四款熱門模型各有定位:qwen3.8-max 主打全模態與智能體,qwen3.7-max 專注純文本推理,qwen3.8-flash 和 qwen3.7-flash 則面向不同成本與能力需求。四款模型輸入價格為每百萬 Token 0.3 元至 12 元,均提供 Batch 半價及 Token Plan;新用戶每個模型可獲 100 萬 Token 免費額度,有效期 90 天。
Meta 的 Muse Wonder 在 Legora 11 月法律工作測試中取得最高整體品質評分,並勝過 OpenAI 的參測模型。Muse Wonder 在分析與回答、資料擷取、起草及編輯四類任務領先;GPT-6.2 Astra 則在比較與審閲任務領先,個案成本低於平均 20%。
作者以 60 秒螢幕錄影展示單張 GPU 的生成速度,平均每秒 776 個 tokens。測試使用 vLLM、4-bit 量化模型及 continuous batching,透過 /v1/completions 端點進行 30 秒 curl 測試;GPU 全程維持 100% 使用率,耗電約 350W。
SF Compute 的 H100 叢集替代方案包括 Nodus Reserved Compute、Together AI GPU Clusters、Lambda 1-Click Clusters 和 CoreWeave,各方案的價格、預訂期限及可用規模不同。
作者實測由16吋轉用14吋 OLED 觸控版 MacBook Pro(M5 Pro),指出最明顯的改變是機身重量由超過2公斤降至不足1.4公斤。運行同一款 Qwen3.6-35B-A3B 量化模型時,14吋與16吋機的即時生成速度分別為94.1 token/s及95.3 token/s;48GB版本使用約40.3GB記憶體。
Pavel Hegler 並列整理 8 款 Mac 聽寫應用程式,對照語音處理位置、離線支援、平台和價格。價格資料於 2026-11-19 查閲,其餘資料於 2026-10-23 至 2026-10-28 查閲。shepetal 收費為 €24 一次或 €2/月;Superwhisper Pro 則為 $8.49/月、$84.99/年或 $249.99 一次。
Ant International AI Infra Team 優化 H20-3e 上的 DeepSeek-V4.1-Flash 分離式 serving,與 TP4 基線相比,平均端到端延遲降低 65.5%,輸出吞吐量達 2.91×。
Amazon Connect Talent 以結構化問題、自適應追問及循證評分,將有研究基礎的招聘面試方法應用於大規模 AI 面試。獨立評估發現,服務保留了 100% 受評職位描述中的關鍵資訊,91% 的生成能力項目可追溯至職位描述,98% 的面試問題針對預定能力項目。候選人評分與專家判斷的一致率為 89.3%,候選人提供明確證據時則達 97.6%。
Databricks 以虛構保險公司和零售商測試 Genie One,發現經配置的智能體結合治理層可提升回答準確度。保險測試中,兩者結合的準確率為 93–95%,單用智能體或治理層均為 83%;零售測試則由 54% 升至 82%。研究指出,治理層提供一致的業務定義,而 Genie One 未必會把問題轉交智能體,因此需要透過 Genie One 一併測試兩者。
Ideogram Blog 比較 8 款 Canva 替代工具,並以同一咖啡店設計簡報實測 Ideogram、Canva Dream Lab 和 Adobe Express;Ideogram 完成全部 5 項任務,另外兩款工具則在免費方案額度用盡後中止。
作者實測 Copyleaks 的 AI 內容及抄襲檢測,發現它在純 AI 文字、純人工寫作和直接複製內容上表現良好,但處理混合文本和改寫內容時有明顯落差。混合樣本中,系統把 220 個字全判為 AI;另一份含兩段 AI 文字的文件卻得到 0% AI 評分,改寫段落亦未被識別。AI Logic 會標示觸發判定的詞句;作者建議把報告作為核查起點,而非證明使用 AI 或抄襲的依據。
Carbon、Neon 和 Hydrogen 的價格及單次生成測試比較顯示,Carbon 優惠期與常規價格下的 Token 單價排序不同。Carbon 優惠價為每百萬 Token 輸入/輸出 2/10 美元,至 2026 年 11 月 30 日;12 月 1 日起常規價為 4/20 美元,Neon 為 3/15 美元,Hydrogen 為 1.50/7.50 美元。
Frontier Design Benchmark 排行榜新現兩款隱形模型,排名均高於《Fable 5.2》。這項基準以 Contra 市場的真實設計委託作盲測,由 68 位專業設計師進行 4,311 次投票,涵蓋 33 項設計委託。評分量表設有 35 個維度,分數與設計師評分的相關係數為 0.94。
作者以同一 Gemini API 端點、相同題目和評分方式比較八款模型,按準確率、成本與速度整理 Gemini 模型選擇指南。測試中,四款 Gemini 4 模型在最低設定均答對 30 道 AIME 2025 題目;Argon 每題成本最低,為 $0.018,Hydrogen 則是 Gemini 4 模型中最快,平均每題 11.3 s。
作者以 World Labs Atlas 的 Chisel 製作莫卧兒—都鐸宮殿,展示同一 3D 佈局如何生成風格一致的多視角圖像、鏡頭影片及 3D Gaussian splat。
推薦理由:文章以同一座可編輯 3D 宮殿對照文字生成影片工具,展示共用場景佈局對多鏡頭一致性的作用,並交代 splat 轉網格供遊戲使用仍需清理。
Ideogram 按六種背景製作任務實測 8 款 AI 背景生成器,並比較各工具在生成效果、文字呈現及付費方案上的差異。測試中只有 Ideogram 以真正 3:1 尺寸生成橫幅,並在 4 張結果中正確呈現標題;Gemini 和 Pixelcut 亦拼寫正確,但 Gemini 加入額外文字,Pixelcut 則只提供 21:9。
Asif Razzaq 比較並排列 2026 年 13 款智能體閘道,評估流量覆蓋、身分與授權、部署、成熟度及價格透明度。文中指出,只有 Kong、Bifrost、Gravitee 和 Prisma AIRS 原生治理 LLM、MCP 與 A2A;其他方案的 A2A 支援多為預覽、透傳或僅限 JSON-RPC。
作者在自建的 Claude Code 程式碼審查插件中測試直接採用依賴掃描結果,盲測將 15 項結果歸為 10 個問題,沒有一項完全成立。其中 6 個部分成立、4 個不成立;調整三項規則後,報告由 15 項減至 5 項,但餘下 5 個仍有 2 個部分成立、3 個不成立。作者建議只有在工具確認易受攻擊函式有被呼叫時,才自動列為審查發現;單憑套件匯入或鎖檔版本,不能證明程式碼會觸及漏洞。
Google Chrome Security 團隊於 2026 年 11 月 19 日介紹 Mirror Dimension,這個封閉式合成網絡用於測試 Chrome auto browse 功能背後的瀏覽智能體。
ParseBench-2 將文件解析評測分為六個維度,並透過嚴重程度政策設定不同錯誤對分數的影響。六個測試套件涵蓋330種錯誤及良性變化,基準包含4,317個頁面案例。Metric Lab 允許用戶調整維度權重、錯誤嚴重度及錯誤分類;作者指出,符合預設政策不代表評分與所有用戶的判斷一致,也不能證明可泛化至未見文件。
Apple HomePod mini 2 換上 S10 晶片並加入 Sound Glow 等功能,但 Siri AI 尚未推出,音質及基本 Siri 回應速度亦未見明顯提升。用作 Mac 預設揚聲器時,音訊操作有 1-2 秒延遲,立體聲配對亦會出現輕微延遲。評測給予 7.2 / 10,並指出 $149 售價令這次幅度有限的升級較難推薦。
作者以 800 個真實工作情境、24 個類別測試 Gemini Decision 1,評估它能否在不同工作流中替代或補充 LLM 判斷。客戶支援分流準確率接近 100%,提示詞注入偵測為 99.7%;模型路由準確率由單一寬泛問題的 0.72 提升至拆分窄問題後的 0.88,而預測用戶反駁僅 46%,程式碼分塊則以確定性程式邏輯表現較好。
作者以 22 條寫入語句測試 MySQL 8.4.13 和 MariaDB 11.4.13,發現 sql_safe_updates = 1 會攔截無 WHERE 寫入,卻放過部分可改動全表的條件。
在三組相同提示詞測試中,Kling 4.0 較貼合指定動作和顏色,Seedance 2.5 則每段約 2.7 分鐘完成。Seedance 三段影片各耗時 161 至 162 秒,Kling 則分別耗時 299、395 及 1,136 秒;兩者均逐字説出指定台詞。Kling 支援最高 1080p;Seedance 2.5 可編輯或延長現有影片,畫面亦較具實拍感。
作者比較 Gemini 4 四款模型的速度、價格與能力,建議 Agent 循環及大量編碼使用 Hydrogen,最難的多步除錯選 Carbon。
Engadget 評測認為,Pebble Index 01 以一枚 $75、按鍵啟動的非智能戒指,將語音輸入 AI 的單一功能做成獨立產品,評分為 8 / 10。按住戒指按鈕即可語音新增備忘、提醒、購物清單或計時器,也可向 Index Agent 查詢日程和網上資訊;作者認為日程查詢較可靠,網上資訊查詢曾出錯。戒指使用不可充電電池,預計可用兩至三年。
Canva、Adobe Express、Recraft、Placeit、Linktree、Photopea 和 Picsart 按 YouTube 裁剪規則及模板、文字、匯出等項目作比較;Canva 是適合免費製作橫額的首選,提供 2560 x 1440 模板及大型版面庫。
Anime Akashic Records(AAR)作者以 580 條未經改寫的 r/tipofmytongue 真實帖文,對正式 API 進行端到端搜尋測試,Franchise Recall @ 20 為 65.5%(380 / 580)。
Mika 於 2026-11-19 透過 OpenRouter 對 9 款 AI 模型進行即時基準測試,以三項開發者任務比較表現、延遲與成本,總花費為 $0.3727。
Hugging Face 的 Daniel van Strien 比較 8 款 AI 文字識別模型,最新 LightOnOCR-3-0.8B 的每 1000 頁識別成本低於 0.1 美元,早期 RolmOCR 約為 0.51 美元。
作者檢查 183 個由 AI 建站工具建立的應用程式,發現其中 92% 的原始 HTML 少於 50 個詞,AI 爬蟲可讀到的內容很少。相比之下,144 個 Vercel 和 Netlify 應用的原始 HTML 文字中位數為 142 個詞,AI 建站應用則為 7 個詞。
Hugging Face研究員測試8款OCR模型處理歷史文獻,發現千頁識別成本已降至不足0.1美元,約0.67元人民幣。2025年4月發布的RolmOCR處理千頁約需0.51美元;2026年10月發布的LightOnOCR-3-0.8B成本更低。縮小圖像、均衡任務分配等運行方式優化,與模型升級同樣重要。