跳到正文
目前篩選:論文
今天11月22日週日1 則
11月21日週六
  1. DEV Community41

    重排序器何時會令記憶搜尋變差

    一項以 184 條問題進行的記憶搜尋實驗發現,加入 cross-encoder 重排序後,正文問題及連結筆記目標的 nDCG 下降。正文問題的 nDCG 由 0.821 降至 0.658,連結筆記目標則由 0.267 降至 0.166;標題問題的 nDCG 上升,而時間性問題樣本僅 4 條,無法支持可靠的一般結論。

  2. DEV Community58

    AI 編碼智能體 Fail-Before-Fix 基準測試:先復現門檻較推測式修補少用 95.3% 輸入 token,20/20 通過

    作者在隔離 VM 中以 20 個隱藏評分案例比較兩種 AI 編碼智能體修 bug 流程,先復現門檻以 20/20 通過,推測式修補則為 17/20。先復現門檻將累計輸入 token 由 49,801 降至 2,323(減少 95.3%),模型呼叫由 3 次減至 1 次。該流程先要求 5 項最小 bug 復現斷言在原有程式碼上全部失敗,才開放修改;這些斷言涵蓋零金額授權及多餘鍵處理等邊界問題。

  3. DoNews43

    OpenAI 發佈藥物化學 AI 評測基準 MedChemBench

    OpenAI 發佈 MedChemBench,評估 AI 模型在藥物化學領域的推理能力。基準包含 99 道題目,涵蓋 761 個分子結構;GPT-6.2 Astra 在 xhigh 檔取得 84.5% 可用分,結構重建得分為 95.4%,化合物篩選與數值預測則僅約 50%。OpenAI 指出,基準反映模型應用歷史知識的能力,不等同於真實新藥發現能力。

  4. DEV Community60

    METR 時間跨度圖顯示 AI 編碼能力增長快於判斷能力

    METR 發佈的最新時間跨度圖顯示,自 2021 年起,AI 在軟件工程基準上可自主完成的任務時長約每七個月翻一倍;判斷類任務的時間跨度則較短,改善也較慢。該圖只追蹤有明確正確答案的任務,不能直接用編碼任務的增長趨勢推斷判斷類工作的進展。文中建議採用任務專屬基準評估模型,並在需要細緻判斷的工作中保留人工參與。

11月20日週五
  1. Databricks:Blog52

    Genie One 準確度分析:為何經配置的智能體需要治理層

    Databricks 以虛構保險公司和零售商測試 Genie One,發現經配置的智能體結合治理層可提升回答準確度。保險測試中,兩者結合的準確率為 93–95%,單用智能體或治理層均為 83%;零售測試則由 54% 升至 82%。研究指出,治理層提供一致的業務定義,而 Genie One 未必會把問題轉交智能體,因此需要透過 Genie One 一併測試兩者。

  2. Hacker News 熱門(buzzing.cc 中文翻譯)44

    Frontier Design Benchmark 排行榜新現兩款隱形模型,排名均高於《Fable 5.2》

    Frontier Design Benchmark 排行榜新現兩款隱形模型,排名均高於《Fable 5.2》。這項基準以 Contra 市場的真實設計委託作盲測,由 68 位專業設計師進行 4,311 次投票,涵蓋 33 項設計委託。評分量表設有 35 個維度,分數與設計師評分的相關係數為 0.94。

  3. LlamaIndex:產品、工程與評測53

    ParseBench-2 如何建立文件解析評測基準

    ParseBench-2 將文件解析評測分為六個維度,並透過嚴重程度政策設定不同錯誤對分數的影響。六個測試套件涵蓋330種錯誤及良性變化,基準包含4,317個頁面案例。Metric Lab 允許用戶調整維度權重、錯誤嚴重度及錯誤分類;作者指出,符合預設政策不代表評分與所有用戶的判斷一致,也不能證明可泛化至未見文件。

11月19日週四
  1. 霞光社38

    2026華輿獎中國典範智能座艙評選結果公佈:「8系」「9系」車型同場競爭

    J.D. Power| 君迪聯同同濟大學人車關係實驗室(HVR Lab)和蜂火智能實驗室(XAI Lab)公佈2026華輿獎中國典範智能座艙評選結果,共10款車型和1家供應鏈企業上榜。50款參評車型中,智能座艙平均得分為753分,部分車型超過800分;座艙體驗推薦者同時推薦整車的比例為83%,座艙體驗貶損者則為26%。

  2. HuggingFace Daily Papers(社區熱門論文)50

    StrideWorld:互動影片世界模型的場景剛性與動作一致性基準評測

    StrideWorld 基準以運動前固定的參照,評測互動影片世界模型的場景剛性與動作一致性;結果顯示,多數模型會令場景變形,只有按估算場景深度縮放指令的兩個模型,能令大部分組合路線接近預測位置。研究測試了 140 個起始視角生成的影片,場景偏移最高達同一路徑剛性渲染的 7.3 倍。以少量渲染片段微調兩個模型,可消除大部分路線中途停滯。

  3. DEV Community32

    論文資料庫日期的「假精確」問題

    Europe PMC 和 PubMed API 的 7 條紀錄顯示,日期精確到日不代表該日已獲證實;期刊資料可能只標示月份。作者以 24 項虛構證據測試 6 個模型,每項重複 3 次;加入日期窗口規則及佔位日期提示後,答案與作者答案鍵的匹配率由 17% 升至 48% 和 96%。這是小型測試,答案鍵包含作者的假設;作者建議保留每個日期的來源精度。

  4. DEV Community32

    Airfoil Self-Noise:一個模型看過測試條件的其他頻率資料,另一個沒有

    一項 Airfoil Self-Noise 實驗比較兩個各用 843 行資料訓練的模型池:納入測試條件其他頻率資料的 B,平均測試 MAE 為 2.323152 dB,低於未納入的 A(2.644575 dB)。603 組配對比較中,B 有 237 組絕對誤差較大;由於替換資料亦改變資料覆蓋範圍及正規化結果,實驗不能證明改善是由看過測試條件造成。

  5. DEV Community46

    為何 AI 編碼智能體的自我審查會失效:單智能體自我審查對比對抗式評論者(突變體擊殺率 0% 對 100%)

    AI Labo 的 E10 基準測試以 gemini-3.8-flash 比較單智能體自我審查與對抗式 Maker-Checker,兩者均通過 20 項功能測試,但突變體擊殺率分別為 0% 和 100%。自我審查測試套件因缺少 pytest 而執行失敗;對抗式評論者以額外 $0.0052 和 6.92 秒,擊敗全部 6 個突變體。

  6. DEV Community54

    FINAL-Bench 混淆 Shell 安全度排行榜實測 20 個模型,GPT-6.1 Terra 平衡準確率 99.5 居首

    FINAL-Bench 的混淆 Shell 安全度排行榜評測 20 個模型,GPT-6.1 Terra 以 99.5 平衡準確率排名第一,Kimi K3.1 Pro 是開源模型之首,得分 97.9。評測使用 221 條保留命令,每條評分 3 次並以多數決定結果,沒有 AI 評審。榜單指出,各模型的差距主要在正常命令通過率;穩健性測試中,Kimi K3.1 Pro 以 99.3 居首。

  7. DEV Community34

    eBay 上的寶可夢卡牌置中度如何?我們量度了實際卡邊

    一項檢查 eBay 寶可夢卡牌刊登的工具,透過對照官方卡圖並量度實際裁切邊緣,評估卡牌正面的置中度。可可靠量度的卡牌中,約四分之一在兩個方向均達到 53/47 以內;近半數刊登照片無法可靠量度。Illustration Rare 照片有約 59% 無法量度,高於 Ultra Rare 的約 39% 和 Hyper Rare 的約 37%。

11月18日週三
  1. DEV Community41

    提示詞注入與 LLM 智能體狀態:1,401,041 次注入提案未能通過主機閘門(共測試 10,000,000 次)

    Python 主機端參考模型在 CPU 上測試 10,000,000 次提案,1,401,041 次注入提案均未提交,且主機保存的圖狀態與獨立參考結果比對時沒有差異。測試亦發現長數字會引發錯誤、服務座標可能互相解除頁面映射、提交中斷會令分頁器未能通過審核,以及未加鎖的多執行緒會出錯。測試沒有呼叫語言模型,亦未測試 Rust crate。

  2. DEV Community44

    14B 模型上的 LLM 智能體記憶方式比較:整段對話、摘要、滑動視窗、檢索與主機保存狀態

    測試以 Qwen2.5-14B-Instruct 比較六種智能體記憶方式,在三組各 600 步的工作中,主機檢查及修正回覆後,各組每一步的狀態均準確無誤。主機保存狀態每步耗時 0.3034 秒、消耗 21.8 焦耳,是成本最低的方式;但模型自行回覆正確率為 81.89%,低於檢索方式的 93.83%。

  3. DEV Community51

    Headron 對照測試 AI 智能體,報告任務表現與驗證結果

    Headron 公佈其基準結果,Claude 三種配置在 138 項任務中使用 Headron 答對 137 項,未使用時答對 78 項。另一次路由測試記錄的提示詞 token 比整棵程式碼樹路由少 89%;驗證紀錄共 17,397 項,涵蓋 PASS、REUSED、FAIL 與 NOT RUN。文中指出各數據來自不同測試套件,並非合併的整體準確率,也不是獨立業界基準。

11月17日週二