跳到正文
10月6日週二
  1. 英國 AI Security Institute:Blog58

    英國 AI Security Institute 梳理能力日益增強的開放權重 AI 系統風險管理方法

    英國 AI Security Institute 概述開放權重通用 AI 系統的風險管理策略,涵蓋模型內防護、外部防護及程序措施。該機構指出,訓練資料篩選有助降低模型發佈風險,而具備完整模型存取權的審核可更準確評估風險,支援發佈決策。與 EleutherAI 及牛津大學合作的研究發現,從 LLM 訓練資料移除有害資料,抵禦對抗性微調的效果是訓練後加入防護的逾 10x,且未帶來顯著性能代價。

  2. 英國 AI Security Institute:Blog66

    AI Security Institute 聯同 Anthropic 及 Alan Turing Institute 探討大規模後門資料投毒

    AI Security Institute、Anthropic 與 Alan Turing Institute 的研究發現,少至 250 份文件便可能成功污染所有受測模型的訓練資料。研究以同一後門攻擊測試四種模型,參數量由 600M 至 13B;所需文件數沒有隨模型或資料集規模增加。這與過往認為攻擊者須污染一定比例資料才能成功的假設不同,研究指出投毒攻擊可能比先前認為更可行。

  3. Thinking Machines Lab:News60

    Thinking Machines Lab 推出 Tinker 微調 API,並開源 Tinker Cookbook

    Thinking Machines Lab 推出 Tinker,一個用於微調語言模型的彈性 API,並以託管服務處理分散式訓練。Tinker 支援多種大、小型開放權重模型,包括 Qwen-235B-A22B;開源 Tinker Cookbook 提供可在 Tinker API 上執行的後訓練方法實作。Tinker 目前處於研究者和開發者私人測試階段,初期免費,並將於未來數週引入按用量收費。

  4. Thinking Machines Lab:News39

    Tinker 徵集社羣項目

    Tinker 邀請開發者和研究人員提交社羣項目,並計劃定期在網誌刊出精選成果。徵集涵蓋機器學習研究、微調模型應用、產品原型、數據集及基礎設施;投稿應附研究説明,最好開源程式碼,並展示嚴謹評估和透明結果。

  5. elsewhere:文章74

    專業人士的新工作,是訓練 AI 取代自己

    AI 數據供應鏈正聘用受自動化影響的專業人士,讓他們撰寫評分細則、標準答案和推理軌跡,以訓練 AI 接手他們原本從事的工作。受訪者描述,Mercor 等平台的工作項目短促且不穩,並伴隨工作監控、保密限制及薪酬下調;加入 Nova 後,一個項目的工作內容未變,時薪卻減少 24%。報道亦討論這類獨立承包工作欠缺保障的問題,以及相關用工身份引發的訴訟。

  6. Cohere 產品與研究博客52

    Cohere 研究提出「文化漏斗」,指出訓練流程中的文化多樣性逐步收窄

    Cohere 分析超過 5.6 million 個涵蓋不同訓練階段的樣本,發現文化多樣性由預訓練進入後訓練時持續收窄。增加語言種類可擴大地理多樣性,但整體文化內容比例會趨於停滯。在 TinyAya base model 微調時加入文化標記後,NormAd、BBQ、GMMLU 分別提升 +8%、+6%、+2.3%,且一般多語能力未受損。

  7. Prime Intellect56

    Prime Intellect 發佈 INTELLECT-2,這是首個透過全球分散式強化學習訓練的 32B 參數模型

    Prime Intellect 發佈 INTELLECT-2,稱這是首個透過全球分散式強化學習訓練的 32B 參數推理語言模型。訓練以跨異構運算節點的全非同步 RL 為核心,並配套推出 PRIME-RL、TOPLOC 和 SHARDCAST;模型、程式碼及數據均已開源,技術報告見 primeintellect.ai/intellect-2。

  8. Goodfire Research62

    Goodfire Research 提出模型差分放大法,協助發現罕見不良行為

    Goodfire Research 提出模型差分放大法,放大模型在後訓練前後的 logits 差異,以協助浮現罕見不良行為。實驗顯示,該方法令湧現失配回覆增加 10 至 300 倍;當資料集含 5% 不良醫療建議時,有害回覆由每 10,000 次抽樣 1 次增至每 30 次 1 次。研究亦把此法用於監察後訓練和偵測後門行為;作者指出,放大後的回覆頻率不代表模型行為的實際發生率。

  9. Fireworks AI53

    企業如何邁向專門化智能並訓練自有模型

    Fireworks AI 的文章梳理企業邁向專門化智能的路徑,從租用封閉式前沿模型、加入開源模型,逐步走到微調自有模型。在 UIPad 測試中,Kimi K3 與 GPT 5.6 Sol 整體同為 87.7 分,但 Kimi K3 執行成本為 $56,GPT 5.6 Sol 為 $115;按題型分流,可把座標題交給 Sol,其餘題目交給 K3。

  10. Goodfire Research54

    Goodfire Research 透過損失曲率分析模型記憶

    Goodfire Research 提出以損失曲率辨識記憶方向的模型編輯方法,移除低曲率權重方向以抑制背誦,無需標註指定遺忘資料。在採用 10% 隨機標籤噪聲的 ViT 實驗中,噪聲標籤記憶率由 81.6% 降至 3.5%,驗證準確率則由 67% 升至 71.7%。語言模型的純記憶任務準確率降至原有水平的 3–16%,邏輯推理維持或略有改善,但算術和封閉式事實回憶較易受影響。

  11. Goodfire Research41

    基於協方差的序列池化

    研究提出協方差池化,以 token 激活的截斷二階矩聚合基因組基礎模型的序列表示,保留均值池化忽略的特徵聯合結構。在 NTv3 的 Gene Ontology 預測及基因組軌道預測中,該方法表現大幅優於均值池化。它可透過重建二階矩學習低秩分解,生成定長嵌入,並用於有監督探測及無監督嵌入學習。

  12. Goodfire Research58

    Goodfire Research 提出探針式數據歸因方法,揭示並緩解 LLM 後訓練中的不良行為

    Goodfire Research 以探針式數據歸因追查 OLMo 2 7B DPO 訓練中出現的有害行為,移除相關數據後有害回應率下降 63%。方法以模型激活向量的餘弦相似度排序訓練樣本;交換排名靠前樣本的 accepted/rejected 標籤,可令有害回應率下降 78%。按數據來源移除四個問題最突出的模型生成的樣本,則可令有害回應率下降 84%。

  13. Prime Intellect66

    Prime Intellect 宣佈募集 $130M A 輪融資,以建設開放超級智能全棧

    Prime Intellect 於 2026 年 7 月 8 日宣佈募集 $130M A 輪融資,由 Radical Ventures 領投,多家投資者參與。公司稱,累計融資額已超過 $150M,將用於建設涵蓋訓練、部署及持續改進的開放超級智能全棧。Prime Intellect 表示,其全棧已有超過 6k 名客戶使用,年化收入在不足一年內升至超過 $100m。

  14. Suno:Blog64

    Suno 回應 RIAA 成員唱片公司訴訟,反駁音樂模型訓練侵犯版權的指控

    Suno 回應 RIAA 成員唱片公司於 6 月 24 日提起的訴訟,否認其音樂生成模型的訓練資料侵犯版權,並稱訴訟在事實和法律上均有缺陷。Suno 表示,其模型使用從開放互聯網找到的中、高質素音樂進行訓練,並主張學習音樂風格、模式與形式不構成侵權。公司稱,Suno 會檢查並阻止音訊上載中的受版權保護內容,也不允許用戶在生成音樂的要求中使用以藝人為基礎的描述,以鼓勵原創。

  15. Zyphra Research59

    Zyphra Research 發現 GPT 式 Transformer 在持續及平穩學習中出現可塑性損失

    Zyphra Research 發現,非嵌入參數量介乎 5M 至 314M 的 GPT 式 Transformer,在多語言持續學習中會出現可塑性損失。研究提出縮放定律 T = 1.3 × 10^-5 · P^0.8269,預測可塑性損失的出現時間隨非嵌入參數量呈次線性增長,增加參數量的延後作用會遞減。研究亦在平穩學習中觀察到相似現象,表明可塑性損失並非只見於持續學習設定。

  16. Replit:Blog51

    Replit 指 AI 採用始於可信數據,語義層是基礎

    Replit 指出,企業要可靠採用 AI Agent,須先建立共享語義層及受治理的營運真相層,讓 Agent 依據一致的商業定義、指標和數據來源工作。其內部數據 Agent 將修正存入 git 儲存庫,經人工審核和驗證後供接觸數據的 Agent 共用;Replit 稱,該 Agent 每週回答遠超 1,000 個以數據倉庫為基礎的提問,並在答案中附上證據。