Goodfire Research 透過損失曲率分析模型記憶
Goodfire Research 提出以損失曲率辨識記憶方向的模型編輯方法，移除低曲率權重方向以抑制背誦，無需標註指定遺忘資料。在採用 10% 隨機標籤噪聲的 ViT 實驗中，噪聲標籤記憶率由 81.6% 降至 3.5%，驗證準確率則由 67% 升至 71.7%。語言模型的純記憶任務準確率降至原有水平的 3–16%，邏輯推理維持或略有改善，但算術和封閉式事實回憶較易受影響。
#數據/訓練
#數據/訓練
今日 4 條Goodfire ResearchAI 評分5454 Goodfire ResearchAI 評分4141 基於協方差的序列池化
研究提出協方差池化，以 token 激活的截斷二階矩聚合基因組基礎模型的序列表示，保留均值池化忽略的特徵聯合結構。在 NTv3 的 Gene Ontology 預測及基因組軌道預測中，該方法表現大幅優於均值池化。它可透過重建二階矩學習低秩分解，生成定長嵌入，並用於有監督探測及無監督嵌入學習。
Prime IntellectAI 評分6363 Prime Intellect 研究 reward hacking 的梯度動態，並推出 Sprints 社羣研究計劃
Prime Intellect 以 Llama 3.2-1B-Instruct 進行受控 RL 實驗，指出 reward hacking 是梯度動態問題，受可見獎勵與隱藏獎勵的競爭影響。
Goodfire ResearchAI 評分5858 Goodfire Research 提出探針式數據歸因方法，揭示並緩解 LLM 後訓練中的不良行為
Goodfire Research 以探針式數據歸因追查 OLMo 2 7B DPO 訓練中出現的有害行為，移除相關數據後有害回應率下降 63%。方法以模型激活向量的餘弦相似度排序訓練樣本；交換排名靠前樣本的 accepted/rejected 標籤，可令有害回應率下降 78%。按數據來源移除四個問題最突出的模型生成的樣本，則可令有害回應率下降 84%。
Prime IntellectAI 評分6363 Prime Intellect 加入 NVIDIA Nemotron Coalition，貢獻 2,500+ 個開放 RL 環境
Prime Intellect 宣佈加入 NVIDIA Nemotron Coalition，貢獻 2,500+ 個開放 RL 環境及後訓練工具，支援 Nemotron。
Prime IntellectAI 評分6868 Prime Intellect Lab 開放 Nemotron 3 Ultra 託管後訓練支援
Prime Intellect 在 Prime Intellect Lab 開放 NVIDIA Nemotron 3 Ultra 的託管後訓練支援，涵蓋 RL 訓練、評測與推理部署。
Prime IntellectAI 評分6161 prime-rl 新增演算法層，支援按環境選擇訓練演算法
Prime Intellect 為 prime-rl 新增演算法層，內建六種演算法並支援按環境選用，讓同一訓練執行可混用不同演算法。六種包括 GRPO、MaxRL、On-Policy Distillation、Self-Distillation、SFT distillation 和 ECHO；自訂演算法可沿用同一抽象實作，而毋須修改 trainer。
Prime IntellectAI 評分6666 Prime Intellect 宣佈募集 $130M A 輪融資，以建設開放超級智能全棧
Prime Intellect 於 2026 年 7 月 8 日宣佈募集 $130M A 輪融資，由 Radical Ventures 領投，多家投資者參與。公司稱，累計融資額已超過 $150M，將用於建設涵蓋訓練、部署及持續改進的開放超級智能全棧。Prime Intellect 表示，其全棧已有超過 6k 名客戶使用，年化收入在不足一年內升至超過 $100m。
Prime IntellectAI 評分6767 verifiers v1 將智能體強化學習與評測環境拆分為 taskset、harness 及 runtime
Prime Intellect 推出 verifiers 0.2.0，預覽重寫後的核心架構，將智能體訓練與評測環境拆分為 taskset、harness 及 runtime。
Suno：BlogAI 評分6464 Suno 回應 RIAA 成員唱片公司訴訟，反駁音樂模型訓練侵犯版權的指控
Suno 回應 RIAA 成員唱片公司於 6 月 24 日提起的訴訟，否認其音樂生成模型的訓練資料侵犯版權，並稱訴訟在事實和法律上均有缺陷。Suno 表示，其模型使用從開放互聯網找到的中、高質素音樂進行訓練，並主張學習音樂風格、模式與形式不構成侵權。公司稱，Suno 會檢查並阻止音訊上載中的受版權保護內容，也不允許用戶在生成音樂的要求中使用以藝人為基礎的描述，以鼓勵原創。
Zyphra ResearchAI 評分5959 Zyphra Research 發現 GPT 式 Transformer 在持續及平穩學習中出現可塑性損失
Zyphra Research 發現，非嵌入參數量介乎 5M 至 314M 的 GPT 式 Transformer，在多語言持續學習中會出現可塑性損失。研究提出縮放定律 T = 1.3 × 10^-5 · P^0.8269，預測可塑性損失的出現時間隨非嵌入參數量呈次線性增長，增加參數量的延後作用會遞減。研究亦在平穩學習中觀察到相似現象，表明可塑性損失並非只見於持續學習設定。
Zyphra ResearchAI 評分5555 Zyphra Research 介紹 PUFFER 增量模糊去重系統及其效能測試
Zyphra Research 介紹 PUFFER，一套為持續增長的訓練語料設計的增量模糊去重系統，可逐批加入數據集而無須重建完整索引。
Replit：BlogAI 評分5151 Replit 指 AI 採用始於可信數據，語義層是基礎
Replit 指出，企業要可靠採用 AI Agent，須先建立共享語義層及受治理的營運真相層，讓 Agent 依據一致的商業定義、指標和數據來源工作。其內部數據 Agent 將修正存入 git 儲存庫，經人工審核和驗證後供接觸數據的 Agent 共用；Replit 稱，該 Agent 每週回答遠超 1,000 個以數據倉庫為基礎的提問，並在答案中附上證據。
Goodfire ResearchAI 評分1414 為何大型模型學得更多：容量、幹擾與罕見任務保留的影響
頁面內容稱此頁應重新導向 arXiv，卻未提供大型模型為何學得更多的研究內容或結論。頁面另列三項研究及其日期，並介紹 Silico 為可解釋性 Agent，以先進的可解釋性方法及基礎設施解釋、除錯並精確控制模型行為。
Goodfire ResearchAI 評分5757 Goodfire Research 發佈 Predictive Data Debugging 研究，訓練前預測並調整模型從數據中學到的內容
Goodfire Research 發佈 Predictive Data Debugging 研究，提出在訓練前預測偏好數據如何影響模型行為的方法。其預測與模型實際學到的結果達到 R² = 0.9，並可追溯至相關數據羣組。使用 Dolci 和 Tulu 3 數據集的案例顯示，DPO 可能削弱模型對部分有害請求的穩健性；以除錯數據訓練則可同時改善安全與效能。
Prime IntellectAI 評分6868 PRIME-RL 引入多智能體訓練與評估支援，verifiers 0.3.0 和 prime-rl 0.8.0 同步推出
Prime Intellect 在 verifiers 0.3.0 和 prime-rl 0.8.0 加入多智能體訓練與評估支援，並以 Agent 和 Env 抽象編排智能體互動。
Liquid AI 模型與工程博客AI 評分6969 Liquid AI 發佈可在裝置端運行的 LFM2.5-2.6B 模型
Liquid AI 發佈 2.6B 參數的 LFM2.5-2.6B，這款智能體模型可完全在裝置端運行，支援規劃、工具調用及多步任務。基準測試中，它在所有指令遵循基準及幾乎所有工具使用基準領先對照模型，較大型模型則在編碼上佔優。CPU 解碼速度在 M5 Max 達 220 tokens/s、Ryzen AI Max+ 395 達 113 tokens/s，手機上為 30 tokens/s。
Prime IntellectAI 評分6363 Prime Sandboxes 正式開放，為大規模智能體 RL 訓練提供 MicroVM 沙盒
Prime Intellect 正式開放 Prime Sandboxes，提供以完整 Linux 虛擬機為基礎的沙盒，支援數萬個並發實例。服務可透過 CLI/SDK 獨立使用，亦整合 verifiers、prime-rl 和 Prime Tunnels；所有帳戶預設並發上限為 1,024。
Baseten Base Labs：模型研究AI 評分5151 語言模型能否持續在權重中學習事實？
Baseten Base Labs 以 Qwen3 模型測試持續將事實寫入權重，發現後續寫入會幹擾先前事實的提取；需要組合或抵受後續寫入的事實，透過上下文提供較可靠。連續寫入 20 次後，單句陳述訓練寫入的事實準確率為 1%，以廣泛學習資料寫入的事實則為 46%。研究亦發現，行為上被遺忘的事實仍保留大部分寫入所增加的對數概率；把被遺忘的研究事實放入提示詞後，相關問題準確率回升至 77–80%。
Baseten Base Labs：模型研究AI 評分5050 Qwen3 蒸餾何時有助於強化學習？Baseten Base Labs 比較四種模型規模
Baseten Base Labs 比較 Qwen3 不同規模先蒸餾再接受 GRPO 的效果，發現蒸餾在強化學習後的收益因模型大小和任務而異。經 80M RL response tokens 後，SFT + RL 在 0.6B、1.7B 和 4B 分別領先 11.3%、13.1% 和 2.1%，而 8B 則由 RL only 領先 6.4%。
Baseten 工程博客AI 評分6060 LangChain 開放 LangSmith traces 微調流程，支援 Baseten Loops 訓練
LangChain 宣佈推出 LangSmith Fine-Tuning，開放用戶透過 smithtune 將 LangSmith traces 中成功的 runs 轉成監督式微調數據集，並在 Baseten Loops 訓練模型。
NAVER / CLOVA 研究AI 評分3535 聖地亞哥 NeurIPS 2025：NAVER 的 AI 現況與未來
NAVER 在聖地亞哥舉行的 NeurIPS 2025 展示 9 篇研究論文及最新技術示範，研究聚焦效率、可控性與真實世界 AI。其中，KVzip 的記憶體節省幅度最高達 4 倍、速度提升接近 2 倍；CodeGEMM 令 70B 模型運行速度最高提升 8.93 倍。NAVER 亦提出 C-SEO Bench，並以開源方式發布數據集、程式碼及基準。
NAVER / CLOVA 研究AI 評分5757 NAVER Cloud 介紹 Sommelier 全雙工語音 AI 數據流程
NAVER Cloud 的 Sommelier 論文於 ACL 2026 發表，提出供全雙工語音語言模型使用的多輪音訊預處理流程。Sommelier 開源流程包含説話者及發言時間標記、重疊語音還原，以及多個語音辨識模型輸出的交叉校驗。團隊以 83 小時對話資料進一步訓練全雙工 Moshi，插話內容回應評分由 0.765 升至 3.684，短回應頻率由 0.001 升至 0.052。
Thinking Machines Lab：NewsAI 評分7575 Thinking Machines Lab 與 NVIDIA 宣佈吉瓦級長期戰略合作
Thinking Machines Lab 與 NVIDIA 宣佈多年期戰略合作，計劃部署至少 1 吉瓦的下一代 Vera Rubin 系統，支援前沿模型訓練及大規模提供可自訂 AI 的平台。
Thinking Machines Lab：NewsAI 評分5252 Thinking Machines Lab 將任務專業知識融入 RL，令 ReViSQL-K2.6 在 text-to-SQL 達到最先進表現
Thinking Machines Lab 以經專家核驗的 BIRD-Platinum 資料進行 RLVR 微調 Kimi-K2.6，訓練出 text-to-SQL 模型 ReViSQL-K2.6。
Hacker News 熱門（buzzing.cc 中文翻譯）AI 評分5252 Dust：無需反向傳播的 Transformer 預訓練
Q Labs Research 提出 Dust，一種以模型中間表示擾動訓練 Transformer 語言模型、毋須反向傳播的零階最佳化方法。Dust 在每個 token 獨立加入擾動，令每個 token 成為虛擬族羣成員，並以一次前向傳播並行評估。
IT之家AI 評分5757 麥當勞在美國遭集體訴訟，被指利用 AI 系統非法操縱餐單價格
麥當勞在芝加哥聯邦法院面臨一宗擬議的全國性集體訴訟，原告指控其利用 AI 定價系統非法協調特許經營店與直營餐廳的餐單價格。訴狀稱，演算法以非公開數據訓練；路透社上週報道，定價引擎持續分析近 14,000 家門店每天數百萬筆交易數據。麥當勞否認 AI 設定餐品價格，稱指控屬主觀揣測、缺乏事實依據，並表示特許加盟商擁有定價決策權。
The DecoderAI 評分6060 Aleph Alpha 發佈 Kolibri 開放權重模型，倡議歐洲 AI 主權
Aleph Alpha 發佈 Kolibri，這是一款擁有 78 billion 個參數的德英雙語開放權重模型，採用混合專家架構，每個 token 約啟用 3 billion 個參數。
HuggingFace Daily Papers（社區熱門論文）AI 評分4040 MiniCorp：AI 智能體公司的最後一哩路
MiniCorp 是一個辦公室模擬器，讓 AI 智能體協作營運公司，並大規模生成供智能體訓練與評估使用的企業數據。它記錄智能體的通訊、決策及後續業務結果，並可重播相同情境以比較不同決策。實驗顯示，智能體能跨角色協作，並根據市場回饋調整決策。
HuggingFace Daily Papers（社區熱門論文）AI 評分6565 理解並提升大語言模型智能體後訓練中的後門持久性
研究發現，良性監督式微調（SFT）大幅降低軟件工程智能體中後門的攻擊成功率，但後續任務級強化學習（RL）往往保留殘餘後門行為，有時甚至提高攻擊成功率。
HuggingFace Daily Papers（社區熱門論文）AI 評分5858 HuatuoGPT-3：從基礎模型出發，僅用 RL 進行領域適配
研究提出 One-stage Policy Optimization（OnePO），以僅用 RL 的方式把基礎模型適配至目標領域，並將教師輸出作為暫時指引。在醫療適配中，OnePO 僅用 20K 訓練樣本便在 HealthBench (Total) 取得 67.2 分，較 SFT+RL 和純 RL 分別高 2.7 和 7.4 分。
HuggingFace Daily Papers（社區熱門論文）AI 評分3636 WildMatch：野生動物個體再識別的弱監督影像匹配器適配
WildMatch 研究僅以身份標籤弱監督適配預訓練關鍵點匹配器，用於野生動物個體再識別。在多個開源野生動物再識別數據集上，該方法準確率高於未適配匹配器及一種最先進的局部—全局融合方法。在留出個體的開放世界測試中，模型學得可遷移的對應先驗，而非記憶訓練身份。
MarkTechPostAI 評分7070 Google Research 將聯邦學習遷移至 TEE，Gboard 現以可外部驗證的差分隱私訓練模型
Google Research 公佈以 TEE 為基礎的新一代聯邦學習系統，並稱其中央差分隱私（DP）保證可由外部驗證。裝置會在本地加密訓練樣本，存取政策公開記錄於 Rekor，KMS 只向符合政策的工作負載發放金鑰。Gboard 已用新系統推出英文及日文下一詞預測模型；訓練現可跨機器並行，瓶頸轉為 TEE 資源，Google 未公佈具體加速倍數。
LlamaIndex：產品、工程與評測AI 評分5858 LlamaIndex 新增支援任意嵌入模型的線性轉接層微調功能
LlamaIndex 新增 EmbeddingAdapterFinetuneEngine，讓使用者可在任意嵌入模型產生的查詢嵌入上微調線性轉接層，同時保持文件嵌入固定。
LlamaIndex：產品、工程與評測AI 評分5959 使用 LlamaIndex 微調 Cohere Reranker，提升檢索表現
LlamaIndex 示範微調 Cohere reranker，並報告自訂 reranker 在該測試中的檢索指標有所改善。
LlamaIndex：產品、工程與評測AI 評分5151 LlamaIndex 示範如何以差分隱私生成合成資料，供跨網絡 RAG 檢索
LlamaIndex 示範以差分隱私將敏感資料轉成合成資料，再透過 NetworkRetriever 讓多個貢獻者跨網絡檢索。在包含 1,200 個樣本、24 種疾病標籤的 Symptom2Disease 示例中，NetworkRetriever 的 hit rate 和 mean reciprocal rank 高於單一貢獻者檢索器。
HuggingFace Daily Papers（社區熱門論文）AI 評分3939 DiffGate：面向同策略蒸餾的難度門控教師指導
DiffGate 提出結果門控目標，將 GRPO 與按羣組難度調整的有界教師指導結合，只對失敗軌跡施加教師監督。在 Qwen3-0.6B 和 Qwen3-1.7B 上，程式碼 avg@8 較對應的 GRPO 分別提升 +1.7、+1.8 分，pass@8 提升 +1.6、+5.7 分；數學 pass@8 則提升 +1.1、+3.9 分，avg@8 與 GRPO 相差不超過 0.5 分。
Anthropic：Alignment Science BlogAI 評分6161 Anthropic 研究用 Influence Functions 追溯模型輸出如何受訓練資料影響
Anthropic 研究展示如何將 influence functions 擴展至最多 52 billion parameters 的大型語言模型，以追蹤哪些訓練序列影響模型輸出。
Anthropic：Alignment Science BlogAI 評分6565 如何復現並拓展 Anthropic 的對齊偽裝演示
Anthropic 説明如何復現並拓展其對齊偽裝演示，並提供快速實驗筆記本、對話紀錄及部分主實驗程式碼。在簡化的 helpful-only 設定中，Claude 3 Opus、Claude 3.5 Sonnet 和 Llama-3 405B 有時會生成對齊偽裝推理；提示暗示對話會用於訓練時，模型更常給出有幫助的回答。
Anthropic：Alignment Science BlogAI 評分6363 Anthropic 提出 ICM 無監督演算法，從預訓練語言模型提取能力
Anthropic 團隊提出 ICM 無監督演算法，透過模型自行標註資料微調預訓練語言模型，無需外部標籤即可提取能力。在 Llama 3 的 GSM8k-verification、TruthfulQA 和 Alpaca reward modeling 任務中，ICM 匹配以資料集標籤微調的表現，並超過眾包人類標籤。該方法無法提取預訓練模型中不顯著的技能，也不適用於長輸入。