跳到正文
11月3日週二
  1. DEV Community27

    LifeVal 基準測試以 ChatGPT 用戶回饋塑造,聚焦日常個人助理任務

    LifeVal 是一項評估 AI 個人助理日常任務表現的基準測試,設計方向參考了數以千計 ChatGPT 用戶的回饋。材料提及的任務例子包括尋找托兒服務,但未交代完整任務清單、評分方法、參測系統或結果。企業可把基準測試作為比較參考,並以自身工作流程中的代表性任務測試候選工具。

  2. DEV Community58

    RAGProbe 評測顯示 gpt-oss 20B 的分層防禦令檢索文件攻擊由 7 次降至 0 次,聊天攻擊由 38 次降至 29 次

    作者修正 RAGProbe 評分器後重跑測試,發現 gpt-oss 20B 的分層防禦將成功的檢索文件攻擊由 7 次降至 0 次,聊天攻擊則由 38 次降至 29 次。不過,防禦效果未能在 56 個真正新攻擊上重現,成功攻擊數僅由 15 降至 13(p = 0.77);文件攻擊結果只基於 11 次攻擊。

  3. DEV Community44

    我們如何為選舉預測評分,以及分數不能衡量甚麼

    這套選舉預測基準先評分答案的推理,再於結果認證後加入勝選者準確率、校準曲線及 Brier score。每份答案由固定評審按具體程度、證據根據及校準度評分,各項為 0 至 100;預測答錯仍可能得高分,含糊答案則總是低分。評分不衡量預測是否正確,樣本亦不足以支持對模型預測能力作出強結論。

  4. 新浪科技24

    iQOO Neo12 遊戲適配能力全面解析

    iQOO Neo12 的遊戲適配涵蓋性能、散熱、屏幕、續航及專屬功能,配備自研電競芯片 Q3、185Hz 屏幕和 9000mAh 電池。《崩壞:星穹鐵道》最高畫質下運行 1 小時平均幀率為 59.7 幀,《使命召喚手遊》原生 185 幀下平均幀率為 185 幀;重度遊戲可連續運行 5.2 小時。支援超 50 款原生 185 幀遊戲,部分遊戲的 QNSS 超分超幀功能需後續 OTA 升級適配。

  5. DEV Community32

    VAKYR 的即時入球概率可信嗎?檢驗 341,846 次讀數

    VAKYR 檢驗足球賽事的即時入球概率是否準確,分析 341,846 次頁面實際顯示的讀數。模型平均報出 24.9% 的入球概率,實際入球率為 24.7%,顯示值的誤差低於 1 個百分點。按概率分成十組後,最高與最低組的實際入球率相差約 17 個百分點;服務免費,並可在瀏覽器使用。

  6. DEV Community36

    LLM 弱隨機數生成器偵測測試

    作者以三款本地程式碼模型測試四段使用 Python random 生成不可猜值的程式碼,評估模型偵測弱隨機數生成器的能力。模型合共標記 23/60 次(38%),兩段使用 secrets 的安全對照程式碼則 0/30 次被標記。作者推測模型較會辨認已知危險的函數名稱,而非值的用途,但尚未測試這個假設。

11月2日週一
  1. DEV Community31

    us-east-1 上 Opus5 與 Opus5.5 的基準測試筆記

    作者在 us-east-1 對 opus5 和 opus5.5 部署進行負載測試,記錄延遲、節流及部署間吞吐量的差異。短提示詞的單次請求延遲約為 3.0s ~ 4.5s,較長提示詞可達 6s 以上;並發量增加後,429 回應會迅速出現。部分部署另有靜態 401 問題,而同一模型版本在不同預置吞吐量部署上的穩定最高吞吐量差異顯著。

  2. DEV Community49

    我評估了 120 次智能體運行:強制檢查清單補齊驗證記錄,卻沒有修好問題

    作者評估了 120 次智能體運行,發現強制檢查清單能令智能體補寫驗證記錄,卻不能確保交付正確。qwen3:14b 修正程式錯誤的次數,從提示清單時的 20 次中 10 次,降至強制清單時的 20 次中 8 次;qwen3.6:35b-a3b 則兩種情況均修正 20 次,但強制清單只令驗證記錄由 0 次增至 20 次。

  3. DEV Community32

    Windsurf 與 Cursor:兩種截然不同的 AI IDE 理念

    Windsurf 與 Cursor 以不同方式把 AI 融入編碼流程:Cursor 著重保留熟悉的編輯體驗,讓用戶按需要呼叫 AI;Windsurf 則更着重智能體式開發,嘗試跨檔案理解目標並自主執行多步修改。Cursor 較適合重視可靠性及低摩擦採用的團隊,Windsurf 則為能持續檢視及引導生成修改的開發者提供更高自主度。

  4. DEV Community47

    五個模型以 $0.06 至 $0.45 嘗試建構同一款應用:多數失敗源於測試與生成器

    Kumiko 應用設計器以同一款金屬加工廠維修應用測試五個模型,發現多數紅色測試結果源於生成器規則和測試設計,而非模型本身。修正後,Sonnet 5.5 三個步驟均通過,花費 $0.322;首次測試則花費 $0.454,建構步驟未通過。Qwen3.8-27b 未能回覆首次呼叫,其他四個模型尚未按修正後的設定重測。

  5. 阿里雲開發者社區 AI51

    開源 AI 影片工具 OpenMontage 的演進:從難用到可控,改變了甚麼

    OpenMontage 的演進重點並非變得好用,而是透過分鏡審批、預算管控和全流程回放,讓 AI 影片製作由難以掌握變得可管理。截至 2026-11-01,GitHub 星標為 74,127;預設單次生成預算上限為 10 美元,單筆超過 0.5 美元須經人工批准。文章亦指出,項目仍沒有 tag release,獨立測試有 9 項失敗、4 項錯誤,並缺少 API key 儲存指引。

  6. 虎嗅65

    豆包、DeepSeek、Gemini 醫療問答實測:三者各有錯漏,沒有一家可單獨信任

    作者以「大腸癌會否引發帕金森病」測試豆包、DeepSeek 和 Gemini,並交叉核對文獻及 DOI,發現三者各有錯漏,沒有一家可單獨信任。三個模型對醫學結論的大方向相近,但核查揭示 DOI 錯誤、研究方向混淆及對研究結果轉述過度等問題。文章建議嚴肅問題使用循證提示詞、多模型比對並逐篇核對論文摘要,健康與診療問題仍須向專業醫生求證。