CanopyCore:Diddy Kong Pilot(GBA)逆向工程檔案
CanopyCore 發佈了 Diddy Kong Pilot(GBA)原型的唯讀逆向工程研究檔案,歷時 17 天完成,內容包括 151 份技術文件及核心引擎的語義 C11 參考實作。研究涵蓋 421 個函式,其中 220 個有文件記錄、130 個以 C 重構;檔案不包含 ROM,也不能建置 ROM 或遊玩。
CanopyCore 發佈了 Diddy Kong Pilot(GBA)原型的唯讀逆向工程研究檔案,歷時 17 天完成,內容包括 151 份技術文件及核心引擎的語義 C11 參考實作。研究涵蓋 421 個函式,其中 220 個有文件記錄、130 個以 C 重構;檔案不包含 ROM,也不能建置 ROM 或遊玩。
Xenos 與 Giannopoulos 的研究測試 GPT-6.1 Sol 在沒有工具的情況下直接讀取、修改及撰寫可執行檔位元組,並正確辨識四個測試程式。模型在 FreeBSD 的 ministat 二進位檔中發現,標示為 99.5% 的選項實際使用 99.8% 的臨界值。延伸及從零撰寫測試均只允許一次作答,研究亦未提供方法能否擴展至大型真實執行檔的證據。
作者在隔離 VM 中以 20 個隱藏評分案例比較兩種 AI 編碼智能體修 bug 流程,先復現門檻以 20/20 通過,推測式修補則為 17/20。先復現門檻將累計輸入 token 由 49,801 降至 2,323(減少 95.3%),模型呼叫由 3 次減至 1 次。該流程先要求 5 項最小 bug 復現斷言在原有程式碼上全部失敗,才開放修改;這些斷言涵蓋零金額授權及多餘鍵處理等邊界問題。
這份綜述梳理 LLM 程式合成與形式化驗證,從早期把 LLM 視為程式碼補全工具,整理至以驗證器為裁判的「生成-驗證-修復」閉環。文章按形式化規格合成、循環不變量生成、端到端驗證程式碼生成等路線,分析表示質素、適應效率與計算成本的取捨,並探討可擴展性及 LLM 幻覺等挑戰。
GitHub 開源的 ReviewBench 是 AI 程式碼審查離線基準,以 219 個公開 PR 建立黃金集;未參與建集的資深工程師重新標註真實發現,與基準判斷的一致率為 96.6%。
研究者以相同流程,在 10 個 CVE 案例上測試 agnes-3.0-flash、agnes-2.5-pro 和 sensenova-ds,發現三個模型分別命中 10/10、9/10 和 9/10。兩個漏報案例沒有重疊,但每格只測試一次,命中率仍不能視為穩定比率。跨模型的風險分數中位差為 30,同一模型跨次測試則為 21。
tappers 在 VM221 以 gemini-3.8-flash 比較兩種編碼智能體 linter,附帶具體修復提示的方案在隱藏評分套件同樣取得 20/20(100%),並將累計輸入 token 減少 69.6%。該方案令規則手冊查閲由 1 次降至 0 次、模型呼叫由 3 次減至 2 次,執行時間由 21.60s 降至 14.86s。
METR 發佈的最新時間跨度圖顯示,自 2021 年起,AI 在軟件工程基準上可自主完成的任務時長約每七個月翻一倍;判斷類任務的時間跨度則較短,改善也較慢。該圖只追蹤有明確正確答案的任務,不能直接用編碼任務的增長趨勢推斷判斷類工作的進展。文中建議採用任務專屬基準評估模型,並在需要細緻判斷的工作中保留人工參與。
Sumama-Jameel 公開 Megabit Trajectories,收錄 66 段經實際執行及驗證的編碼智能體軌跡,合計超過一百萬個模型 token。與四個較大型數據集比較時,SWE-Gym 在作者自訂的每萬 token 錯誤恢復配對數指標上以 10.72 比 6.48 領先,SWE-smith 的最長重試鏈則為 64 比 4;作者亦公開自己在規模等項目落後。
一項觀察性研究比較 663 組 AI 輔助提交與人工作業提交,未能判斷 AI 輔助提交是否更常被撤銷或後續修復。30 日內,AI 輔助組有 1 次撤銷,對照組有 2 次;信賴區間很寬,研究樣本不足以得出明確結論。研究者指出,修復判定方法雜訊較大,可靠解答需要約 10 倍的配對數及經驗證的修復追蹤方法。
《Prompts Blend Requirements and Solutions》提出,提示詞可作為不斷演進的需求工程產物。研究概述提示詞如何變化、如何支援驗證與確認,以及如何影響軟件質素,並提出透過受控實驗測試逐步改進提示詞能否提升生成軟件的質素。
Meta 研究人員提出 SWE-sweep 基準測試,要求編碼智能體在沒有錯誤提示的真實程式碼庫中自行找出並修復程式錯誤。在涵蓋 100 個程式碼庫、22 種語言的 4,068 個已知錯誤中,最佳受測模型只修復了 4.7%,並由隱藏測試驗證。
Google DeepMind 公佈 AlphaEvolve,一種以大型語言模型生成、測試及演化程式的智能體,目標是自主發現新演算法與科學解法。文章稱它為 4×4 複數矩陣乘法找到只需 48 次純量乘法的演算法,並在超過 50 個開放問題中約 75% 達到已知最佳結果、約 20% 超越最佳結果。
Gemini 4 Neon 在 Models Engineering Index 排名第一,得分為 68.0。該指數評估語言模型在工程任務上的實際表現。
Google 研究人員提出可自我改進的 Harness,讓優化模型逐一修改執行框架模組並以驗證集篩選,將 SWE-bench Lite 任務成功率由 5.0% 提升至 40.0%。
Google 研究人員提出可自我改進的 Harness 架構,AI 智能體在 SWE-bench Lite 的任務成功率由 5.0% 升至 40.0%。每輪只修改一個模組,並透過驗證決定是否保留;模組化方案平均每項任務消耗約 4.67 萬 Token,整體重寫雖達 42.5%,但消耗約 45.16 萬 Token。
Prime Intellect 回顧 RL Residency 在 2026 年支持的開放研究成果,分為評測、訓練環境和其他研究三類。項目涵蓋 Maze Bench、OpenTTD-Bench、PretrainGym、AerialSim 等;Maze Bench 中,當前最佳大語言模型在不使用編碼工具時準確率最高為 16%,使用編碼工具時最高為 23%。
AI Labo Benchmark Series 的 E11 實驗比較長系統提示詞與提交前 AST Hook,結果顯示只有確定性 Hook 能在通過功能測試之餘守住全部架構規則。
CurvDelta 和 CurvLoRA 將大語言模型更新限制在低曲率保留空間,以提升一般能力保留度,同時維持目標適應效果。兩者以數學推理、程式碼生成及知識遺忘任務作評估;在 TOFU 和 MUSE 上,方法在目標遺忘與知識保留之間取得較佳平衡,保留表現接近從頭重新訓練的參考結果。
AI Labo 的 E10 基準測試以 gemini-3.8-flash 比較單智能體自我審查與對抗式 Maker-Checker,兩者均通過 20 項功能測試,但突變體擊殺率分別為 0% 和 100%。自我審查測試套件因缺少 pytest 而執行失敗;對抗式評論者以額外 $0.0052 和 6.92 秒,擊敗全部 6 個突變體。
FINAL-Bench 的混淆 Shell 安全度排行榜評測 20 個模型,GPT-6.1 Terra 以 99.5 平衡準確率排名第一,Kimi K3.1 Pro 是開源模型之首,得分 97.9。評測使用 221 條保留命令,每條評分 3 次並以多數決定結果,沒有 AI 評審。榜單指出,各模型的差距主要在正常命令通過率;穩健性測試中,Kimi K3.1 Pro 以 99.3 居首。
OpenAI 公佈內部研究加速報告,指出編碼智能體可獨立完成更多研究任務,但能力提升因工作類型而異,人類仍是 AI 研發流程的重要部分。對估計需人類工作 2 至 4 小時的任務,無人介入成功率由 3 月的 23% 升至 10 月的 46%;監察訓練運行任務的成功率為 79%,編寫推理及服務堆疊程式碼則為 25%。
推薦理由:報告把智能體使用、研究員工作流程與模型能力指標放在同一框架,並呈現自動化成效在不同任務上的明顯落差。
Vow 與 TypeScript 在硬任務基準測試中均完成所有執行,但 Vow 的 18 次執行有 19 次判定提交,TypeScript 則有 18 次。另一項壞數據測試中,Claude Haiku 5.5 下 Vow 啟用 vow test 探測功能標記了 68% 的壞輸入,高於 Python 的 53% 和 TypeScript 的 20%;測試規模有限。
團隊比較數據分析智能體與單次生成程式基線,後者在 DABench 的 40 道評測題中得分 0.70,高於智能體的 0.55。智能體使用的模型是 qwen2.5-coder 1.5B,耗用約 5.6 倍 token 和 3.3 倍時間;差距未達 5% 顯著水平。
哈佛大學研究顯示,使用 Fable 5 與 Opus 4.8 相比,程式碼變更七日內合併率高出 1.4 個百分點,但差異未達統計顯著。主要分析追蹤 297 名 Fable 5 用戶,並以 8,908 名 Opus 4.8 用戶作對照。
MillBill 將 B-rep 零件、毛坯及材料轉換為索引式三軸銑削的 G-code,並以幾何回饋協助模型修訂加工計劃。在100個 GrabCAD 零件的模擬評分中,本地運行的開源 Qwen3.8-27B 令97.4%的目標表面偏差維持在0.1 mm內;GPT-6 Astra、Claude Opus 5.5及 CNC-Net 分別達到94.3%、83.0%及42.3%。
CADMAGEDDON 提出以本地推理將網格重建為可編輯 CAD 的方法:幾何工具識別並擬合網格實體,Qwen3.8-27B VLM 則根據渲染結果決定建模與修正步驟。
SuperCLUE 公佈新一輪中文通用能力測評結果,Qwen4-Max、Hy4 與 KimiK3.1Pro 按測評規則並列國內榜首,得分分別為 61.61、61.01 和 61.46。
RepoFactory 從真實軟件倉庫建構完整專案開發環境,透過環境演化循環,以驗證執行和程式碼分析提供即時、低成本的代理指標,持續改進任務環境。
哈佛博士生 Fiona Chen 和 James Stratton 分析 718 間公司後發現,採用 AI 編碼智能體的公司程式碼新增量增加約 30%,已完成工作未見可測量的增長,程式碼由提交至合併的時間則增加 49%。
哈佛研究人員發現,AI 編碼智能體提高程式碼產出後,瓶頸轉移至程式碼審查。Hacker News 討論中,有用戶指出,開發人員可能因自行提示及提交智能體生成的程式碼而跳過第二人審查,甚至不再仔細檢查輸出。
研究提出 optics as code,讓編碼智能體僅憑測量數據原位訓練光學神經網絡,並以可解讀的光學元件重新參數化網絡。該方法在分類和圖像編碼上優於無梯度方法,並以較低成本達到接近透過校準模型進行反向傳播的效果。
SWE-CoWork 評估顯示,領先編碼智能體通過約 63% 的 fail-to-pass 測試節點,但完整完成組織級軟件工程任務的比例低於 8%。研究亦推出自動化論文撰寫框架、320-billion-parameter 科學語言模型,以及整合蛋白質摺疊能力的通用 LLM。
Accelerate Bench 是一個評估編碼智能體進行應用程式層級程式最佳化的基準測試,涵蓋 8 個應用領域的 32 項科學工作負載。研究評估了 16 個編碼智能體,排名前列的兩個智能體在至少 22 項任務中取得 2× 或以上加速,同時須維持程式正確性。31 項任務可透過 Harbor Hub 使用,完整版本則在 Hugging Face 提供。
研究人員推出 SWE-CoWork,透過模擬組織中的協作任務,評估編碼智能體處理真實開發工作的能力。基準涵蓋 101 個真實程式碼庫、11 種語言及 12 個領域;智能體須向 26 名模擬同事和記錄查找需求,並協作及核實工作。模擬同事是否足夠真實,仍是評估結果能否反映真實組織表現的不確定因素。
K2-Horizon 論文提出六款全開放語言模型,規模由 0.9B dense 至 375B-A23B MoE,面向數學、科學、軟件工程、深度研究及辦公自動化等推理與智能體工作。
TokenEconomizer 是 UC Berkeley、Microsoft Research 和 Microsoft Security 開發的開源插件,透過程式碼庫過往工作階段學習,降低 AI 編碼智能體後續任務的成本。
推薦理由:研究在 277 項修復程式錯誤任務中評估跨工作階段學習,呈現智能體利用程式碼庫經驗降低成本、同時維持大致穩定任務成功率的做法。
在 SaaS 用量計費任務的隔離 VM 基準測試中,折疊式單一循環搭配漸進式技能披露,比按角色拆分子智能體快 2.66 倍。兩種方案最終都通過 20 個隱藏測試案例;折疊方案用 2 次模型調用、13.68 秒完成,按角色拆分方案則用 5 次調用、36.36 秒,前者輸入 token 減少 67.0%、API 成本減少 54.9%。
GEM 以熵正則化的反向 KL 散度最小化,改善 LLM 監督微調中的過擬合與輸出多樣性。在 Llama-3-8B 的實驗中,GEM 在通用指令微調及數學推理、程式碼生成任務上均優於交叉熵;配合多數投票或 Best-Of-$N$ 時,表現最高提升 10 個點。
SpecGuard 是一款免費、在瀏覽器運行的基準工具,用來測試 AI 編碼智能體能否按需求撰寫驗證測試,而非照抄現有程式行為。SpecGuardBench 的 291 個 Python 任務中,表現最佳的智能體驗證框架忠實度為 62.9%;參考程式有錯時,忠實度下降 19 至 31 個百分點。