SandboxEscapeBench:安全評估 AI 智能體容器逃逸能力的基準測試
英國 AI Security Institute 開源 SandboxEscapeBench,用於在隔離環境中評估 AI 智能體的容器逃逸能力。基準涵蓋18種橫跨編排、執行階段及核心層的情境,每個容器均在加固虛擬機內運行。評測顯示,前沿模型能可靠地利用常見錯誤設定突破沙盒,增加推理時的 tokens 預算亦會提高成功率,但沒有模型解決最難的情境。
英國 AI Security Institute 開源 SandboxEscapeBench,用於在隔離環境中評估 AI 智能體的容器逃逸能力。基準涵蓋18種橫跨編排、執行階段及核心層的情境,每個容器均在加固虛擬機內運行。評測顯示,前沿模型能可靠地利用常見錯誤設定突破沙盒,增加推理時的 tokens 預算亦會提高成功率,但沒有模型解決最難的情境。
Prime Intellect 發佈開放數據集 SYNTHETIC-2,收錄 400 萬條經驗證的推理軌跡,涵蓋複雜強化學習任務。全球共有 1,253 張 GPU 參與生成;TOPLOC v2 的誤報率為 0.000925%,證明驗證中位成本跨模型平均比重新執行原始推理低 25 倍。
Prime Intellect 將 Proximal 的 FrontierSWE 編碼基準上架 Environments Hub,用戶可透過 Prime CLI 執行評測。
GitHub 推出 ReviewBench,作為評測 AI 程式碼審查智能體的離線基準,研究預覽版已可透過網站使用。
推薦理由:ReviewBench以219個跨19種語言的公開PR建立評測集,並公開多來源標註與評分方法;資深工程師判斷與基準的一致率為96.6%。
LlamaIndex 發佈 ParseBench,這是一項面向 AI 智能體的文件解析基準,包含約 2,000 頁人工核驗的企業文件和超過 167,000 條測試規則。它從表格、圖表、內容忠實度、語義格式及視覺定位五個維度評估 14 種方法;LlamaParse Agentic 整體得分為 84.9%,是五個關鍵維度均具競爭力的唯一受測方法。基準資料集、評估程式碼和完整研究論文均已公開。
LlamaIndex 與 Kaggle 推出 ParseBench 文件 OCR 排行榜,讓從業者比較解析器、視覺語言模型和文件智能體在企業文件抽取任務上的表現。
LlamaIndex 與 Kaggle 推出 ExtractBench,一個用於評估企業文件結構化資料抽取系統的開放基準。基準涵蓋 370 份企業文件(4,869 頁)、8 個業務領域及 67 種文件類型,評估 14 套系統的準確度、感知質素、表格結構、文件長度及成本。
Google DeepMind 推出 SynthID Bio,將可檢測水印嵌入蛋白質序列和預測結構,以辨識 AI 生成的生物設計。
推薦理由:SynthID Bio 把水印延伸至合成後的蛋白質,並以三種靶蛋白的濕實驗展示來源辨識與保留生物功能並行的做法。
Microsoft 宣佈 Physical AI Toolchain 新增機械人推理卸載功能,支援透過 Kubernetes 工具把 AI 工作負載分配至機械人、邊緣 GPU 和雲端。
推薦理由:文章將實機工作負載的效能、電池續航與算力配置放在同一脈絡比較,並介紹以 Kubernetes 分配推理的工具,呈現卸載方案的收益與代價。
Voice Arena 與 Hugging Face 為 Open ASR Leaderboard 加入 Monsoon en-IN 和 Monsoon hi-IN 評測集,涵蓋 Indian English 與 Hindi,令 Hindi 成為其多語言分頁首個 Indic language。
推薦理由:這批評測集把説話者背景與可接受的拼寫變體納入 ASR 評估,讓總體 WER 之外的區域差異和 Hindi 正字法誤差更容易被辨識。
Google Earth AI 介紹實驗性行星預測引擎(PPE),可根據自然語言查詢自主完成地理空間資料搜尋、整理、模型訓練與評估。測試中,21 項 CDC 健康指標的平均 R² 為 76.8%,高於人工專家流程的 60.0%;尼日利亞糧食安全由 ADM1 下採樣至 ADM2,R² 為 66.1%,基線為 31.5%。
Hugging Face 與 Treble Technologies 推出並開放提交 FFASR Leaderboard,這是針對真實遠場聲學條件的開放、社羣協作 ASR 評測基準。
ARC Prize 發佈 ARC-AGI-3,這是 ARC-AGI 系列首個完全互動式基準,包含數百個互動環境和數千個遊戲式關卡。環境沒有指示、規則或明示目標,AI 智能體須自行探索並將所學帶到難度逐步提高的關卡。ARC Prize 2026 現已開放參賽,獎金超過 $2 million;人類得分為 100%,前沿 AI 得分為 0.51%。
Google Research 推出 WAXAL 開放語音資料集,首批涵蓋 27 種撒哈拉以南非洲語言,這些語言由超過 100 million 人使用。資料包含約 1,846 小時已轉錄的自然語音 ASR 數據,以及超過 565 小時高保真 TTS 錄音,採用 CC-BY-4.0 授權開放。資料收集由非洲學術及社區組織主導,Google 表示計劃持續擴充語言範圍。
推薦理由:WAXAL 將自然口語 ASR 與高保真 TTS 語料以 CC-BY-4.0 授權開放,呈現支援低資源語言語音技術所需的資料建置基礎。
NVIDIA 發佈 Nemotron-Personas-India,一套依印度人口、地理及文化分佈合成的人物設定數據集,採用 CC BY 4.0 授權。數據集包含 21 million 個人物設定(3M 條記錄、每條 7 個設定),支援英語及以天城文、拉丁字母書寫的印地語,並有 27 個欄位和 7.7 billion tokens。
推薦理由:數據集以印度人口、地域分佈為基礎,涵蓋英語及兩種文字形式的印地語,並採 CC BY 4.0 授權,呈現其作為區域模型訓練素材的語言覆蓋與使用條件。
NVIDIA 發佈 Nemotron-Personas-Japan,一個按日本人口與勞動統計構建、以 CC BY 4.0 授權的開放合成數據集,包含 100 萬條記錄、共 600 萬個日語人物設定。每條記錄含 22 項資料,數據集約有 14 億 tokens,並涵蓋 1500 種以上職業類別。數據集不含個人可識別資訊,可用於日語模型微調、合成對話生成及偏差與公平性測試。
Hugging Face 推出 Gaia2 智能體基準及 Meta Agents Research Environments(ARE)框架,用於在更複雜、接近真實情境的環境中執行、除錯和評估智能體。
推薦理由:Gaia2 將智能體評測從唯讀檢索擴展至含模糊指令、時間要求和環境故障的互動任務,ARE 記錄執行 traces,便於分析智能體在複雜情境中的失誤。
Data is Better Together 社羣發佈採 Apache 2.0 授權的文生圖偏好數據集 open-image-preferences-v1,涵蓋多種生成類別、模型系列及提示詞複雜度。
Hugging Face 發佈 Docmatix 文件視覺問答數據集,包含 2.4 million 張圖片及 9.5 million 組問答,規模較先前數據集增加 240X。
Artificial Analysis 推出文生圖模型排行榜與 Image Arena,以超過 45,000 次人類圖像偏好計算模型 ELO 排名。排行榜收錄 Midjourney、DALL·E、Stable Diffusion、Playground 等開源及專有模型,評測為每個模型生成超過 700 張圖像。用户可在 Image Arena 投票,投滿 30 票後查看個人化模型排名。
推薦理由:排行榜以超過 45,000 次人類圖像偏好計算 ELO,並涵蓋開源與專有模型,為比較不同文生圖模型提供同一參照。
OpenAI 發佈 Procgen Benchmark,提供 16 個易於使用的程序生成環境。該基準用於直接衡量強化學習智能體學習可泛化技能的速度。
OpenAI 建立了一套機械人系統,完全在模擬環境中訓練後部署到實體機械人上,並能在看過一次任務示範後學會新任務。