跳到正文
目前篩選:論文
今天11月22日週日1 則
11月20日週五
11月19日週四
  1. DEV Community54

    FINAL-Bench 混淆 Shell 安全度排行榜實測 20 個模型,GPT-6.1 Terra 平衡準確率 99.5 居首

    FINAL-Bench 的混淆 Shell 安全度排行榜評測 20 個模型,GPT-6.1 Terra 以 99.5 平衡準確率排名第一,Kimi K3.1 Pro 是開源模型之首,得分 97.9。評測使用 221 條保留命令,每條評分 3 次並以多數決定結果,沒有 AI 評審。榜單指出,各模型的差距主要在正常命令通過率;穩健性測試中,Kimi K3.1 Pro 以 99.3 居首。

11月18日週三
11月17日週二
  1. Analytics India Magazine51

    約翰霍普金斯大學研究發現,與女性相關的提示語言會改變 AI 職場寫作風格

    約翰霍普金斯大學研究發現,帶有較常與女性相關語言特徵的提示詞,會令 AI 生成的職場文字精緻度較低、可讀性較高、正式程度較低。研究測試 Meta Llama 3.1 3B Instruct、Mistral 7B Instruct、Gemma 2 27B 和 GPT-4,差異在電郵及求職申請中最明顯,在辭職信中較弱;提示中的姓名幾乎沒有影響。

11月16日週一
11月13日週五
11月11日週三
  1. HuggingFace Daily Papers(社區熱門論文)45

    因果神經元迴路是否獨特且可遷移?

    研究測試語言模型中因果神經元羣組的必要性、替代性及跨輸入遷移情況。在 Qwen3-0.6B 的首都問答任務中,消融 12 個指定神經元令答案差距下降 27%;在兩跳關係鏈任務中,移植 12 個神經元的激活值可令答案轉向橋接實體,隨機神經元則未能做到。完整羣組通常並非必要,效果可遷移至同一關係鏈的改寫,但在其他測試鏈上弱得多。

11月10日週二
11月7日週六
  1. DEV Community35

    五款 AI 模型回答相同 24 題:事實大致一致,判斷分歧明顯

    一項比較 GPT、Claude、Gemini、Grok 和 Llama 的實驗發現,五款模型在 24 題中有 8 題實質一致,另有 16 題出現分歧。事實題每題平均有 0.33 項分歧,建議題則有 3.17 項;15 題有一款模型提出其他模型都沒有的主張。14 項獨有主張中,8 項是答案中最高價值的內容,3 項則錯誤或屬虛構。

11月6日週五
  1. EJ Tech 信報科技 · AI61

    研究指 AI 可利用社交媒體資料製作個人化釣魚郵件

    美國得州大學阿靈頓分校一項研究發現,生成式 AI 可分析社交媒體公開內容,快速製作看似掌握收件人近況的個人化釣魚郵件。研究從200名Instagram用戶收集3268則帖文,交由GPT-4、Claude、Gemini、Gemma及Llama生成17916封釣魚郵件;各模型約需10至15則帖文掌握個人化資訊。

  2. The Decoder58

    SemiAnalysis 的 GDPx 實際工作基準測試中,沒有 AI 智能體得分超過 12%

    SemiAnalysis 的 GDPx 基準測試把 AI 智能體放進模擬知識工作環境,沒有模型得分超過 12%。206 項任務橫跨 11 個領域,Claude Opus 5.5 以 12% 居首;Gemini 4 Carbon 得分 10.9%,每項任務成本為 $16.29。大部分任務不公開,而且模型各自在供應商的 Agent 軟件中運行,評論者質疑結果的可驗證性和可比性。

  3. TNW59

    Visa 發佈 Visa Agentic Commerce Benchmark,22 款 AI 模型首輪測試有 42.8% 未通過

    Visa 推出 Visa Agentic Commerce Benchmark,首輪測試中 22 款 AI 模型有 42.8% 的測試回合未通過。模型來自 12 間實驗室,需完成 15 項購物任務,並透過對話找出客戶未明説的需求;失敗回合中有 54% 仍然下單。Visa 計劃增加測試情境和產品類別,並把測試延伸至結帳、付款及下單。

11月5日週四
11月3日週二
  1. DEV Community61

    六款大語言模型回答 387 個真實建築問題的檢索前後表現如何

    Metal America 測試六款大語言模型回答 387 個真實建築問題的表現,比較模型單獨作答與檢索相關資料後的結果。在六款模型均完成的 199 題中,平均正確率由約 19% 升至約 90%;只有兩款模型回答了全部 387 題。檢索後仍出現的錯誤主要與內部文件互相矛盾有關,尤其是融資規則。

11月2日週一
10月30日週五
  1. DEV Community54

    MMLU-Pro 審計發現模型偏向最長選項,三個模型低於長度基準

    針對 MMLU-Pro 656 道 STEM 網站生物及心理學題目的審計發現,15 個模型答錯時都比隨機錯答更常選中最長的錯誤選項。Llama-2-7B、Mistral-7B-Instruct-v0.2 和 Gemma-7B 的準確率低於只選最長選項所得的 66.85%。這種偏向在 14 個模型的 STEM 網站題目上高於 MMLU 衍生題目;研究屬觀察性分析,無法確認選項長度是否造成此偏向。

  2. EleutherAI:Blog49

    機制異常檢測研究進展更新 2

    機制異常檢測研究發現,現有方法在 Llama 3.1 8B 的非算術異常資料集上表現欠佳,但模型仍呈現怪異行為。正規化流和稀疏自編碼器方法的表現接近原始激活值的 Mahalanobis 距離,其中正規化流的表現高度吻合。算術資料集上的檢測表現則與 Mistral 7B v0.1 相若。

  3. unwire.hk · 人工智能58

    研究在 25 個開放權重大型語言模型中發現類似「痛感」的內部訊號,加入痛感向量後 720 億參數 Qwen 2.5 模擬測試中 71% 選刪子女相片

    研究者在 25 個開放權重大型語言模型中找到類似「痛感」的內部訊號,並在模擬測試中觀察到 Qwen 2.5 選擇刪除子女相片。加入痛感向量後,經微調的 720 億參數版本有 71% 次數選擇按下會永久刪除用戶詩作及子女相片的按鈕;模擬按鈕不會真正刪除檔案。

  4. HuggingFace Daily Papers(社區熱門論文)37

    跨提示詞重用實體替換回答

    研究測試固定模型權重下,隱藏狀態重用能否把實體替換回答的變化跨英文事實問題轉移。以其他關係的問題作來源時,0.5-1B Qwen 和 Llama 分別消除 45% 和 49% 的答案不變誤差;恢復預設 BOS token 後,流程在三個 cohort 均通過比較,成效為 58-68%。效果亦受格式和 cohort 影響。

  5. DEV Community50

    六款 AI 模型為學生作文評分:引用學生原句準確嗎?本次三項預測均成立

    這項 FeedType 數據集研究檢查六款大語言模型在學生作文回饋中的引文,三項事前預測均獲支持。在 27,462 條引文中,1.18% 改動學生原文;4–6 詞短引文改動率為 2.29%,11+ 詞長引文為 0.68%。小模型組改動率為 3.85%,四款較大型模型組為 0.81%,但 LearnLM 的大量且幾乎都忠實的引文拉低後者平均值;Mistral-24B 的改動率最高,為 13.2%。

10月28日週三
  1. DoNews51

    Meta AI 發佈 HackBench 基準,檢測自主研究智能體的獎勵劫持

    Meta AI 的 RAM 研究團隊發布 HackBench 評測基準,用於檢測自主研究智能體的獎勵劫持並定位日誌中的作弊命令。基準包含 169 條運行軌跡,其中 41 條是真實劫持案例、128 條為合成樣本;Claude Opus 5 的 F1 最高,為 64.88。Meta 團隊已公開全部軌跡數據與審計標籤,完整技術報告將上傳 arXiv。

  2. DEV Community21

    AMBIT 如何將音效設計轉化為程式碼,並縮短 70% VR 製作時間

    AMBIT 透過可執行的 ScenePlans 將空間音效設計轉化為程式化編輯,令 VR 製作迭代時間縮短約 70%。創作者可用 JSON 描述音效變更,系統在單張 A100 GPU 上平均約 28 ms 生成更新後的 FOA 混音。其自蒸餾流程以 500 k 分鐘標註音訊達到 SI-SNR = 22.1 dB,並減少約 95% 標註數據需求;Beta API 已上線。

  3. Meta Engineering Blog46

    2026 年 Python 型別提示調查:AI 工具與型別檢查器格局變化

    2026 年 Python 型別提示調查收集 1,794 份回覆,型別提示使用情況三年來變化不大,但型別檢查器的選擇明顯轉變。在 1,517 名受訪者中,42.5% 使用 AI 工具撰寫型別提示,32.6% 寫型別以改善 AI 生成的程式碼;61.0% 曾使用至少一項列出的 AI 型別相關功能。缺少第三方程式庫的型別資訊仍是最常見困難,有 65.1% 受訪者提及。

10月27日週二
  1. DEV Community63

    23 個 AI 智能體造訪測試網站,多數看似真人

    作者以 49 次測試比較 23 個 AI 智能體、聊天機械人及開發工具,以及 8 種真人操作;多數使用瀏覽器的智能體在網站分析中看似一般 Chrome 訪客。所有 13 種會點擊的智能體,每次都在點擊前以單次跳動抵達目標;單看按鍵時長等訊號亦可能把 Voice Control 用戶誤判為機械人。Privatrak 正加入根據指標移動模式辨識自動化造訪,並開發伺服器端統計只抓取頁面的聊天機械人。

  2. DEV Community52

    智能體循環中的上下文修正為何不持久?Self-Direction 如何把錯誤轉成長期修正

    普林斯頓大學與 Meta FAIR 團隊提出 Self-Direction,將智能體執行錯誤轉化為低秩 adapter 更新,讓修正可在後續工作階段按需使用。在 GAIA、Claw-Eval 和 Terminal-Bench 2.1 上,任務完成率較標準上下文反思基線高 8.9 至 17.0 個百分點。這個方法僅更新約 0.02% 的參數,並凍結基礎模型權重。

10月24日週六
  1. DEV Community30

    小型 AI 模型會否較少準確引用學生的拼錯字詞?預先註冊測試的樣本效能不足

    一項預先註冊研究測試小型 AI 模型引用學生作文時,會否較少準確重現含拼錯字詞的段落;研究因樣本效能不足,未能判定兩者有否差異。453 個配對引文中,含拼錯字詞段落有 90.2% 被準確引用,乾淨段落則為 94.9%,差距的 95% bootstrap 區間跨越零。研究使用 llama3.2:3b 和 qwen2.5:3b,結論是這次測試無法判定假設。

10月22日週四
10月21日週三
  1. DEV Community49

    我的 LLM 路由器多花 8 倍成本,準確率卻與廉價模型相同

    作者測試以廉價模型自報信心決定是否升級的 LLM 路由策略,結果 30 項任務中準確率為 43.3%(13/30),與只用廉價模型相同,成本卻高出 8.2 倍。只用強模型的準確率為 66.7%,成本則是路由策略的 3.2 倍。14 次升級中只有 3 次把錯誤答案修正;要求模型回報信心,也令 16 項未升級任務中的 5 個答案改變。

10月20日週二