JEPA-Anything以一套學習方案構建七個領域的世界模型
研究團隊提出 JEPA-Anything,以 Orthogonal Predictive Factorization(OPF)將 JEPA 的潛在目標拆成正交因子,作為適用於七個領域的世界模型框架。
研究團隊提出 JEPA-Anything,以 Orthogonal Predictive Factorization(OPF)將 JEPA 的潛在目標拆成正交因子,作為適用於七個領域的世界模型框架。
英國 AI Security Institute 概述開放權重通用 AI 系統的風險管理策略,涵蓋模型內防護、外部防護及程序措施。該機構指出,訓練資料篩選有助降低模型發佈風險,而具備完整模型存取權的審核可更準確評估風險,支援發佈決策。與 EleutherAI 及牛津大學合作的研究發現,從 LLM 訓練資料移除有害資料,抵禦對抗性微調的效果是訓練後加入防護的逾 10x,且未帶來顯著性能代價。
AI Security Institute、Anthropic 與 Alan Turing Institute 的研究發現,少至 250 份文件便可能成功污染所有受測模型的訓練資料。研究以同一後門攻擊測試四種模型,參數量由 600M 至 13B;所需文件數沒有隨模型或資料集規模增加。這與過往認為攻擊者須污染一定比例資料才能成功的假設不同,研究指出投毒攻擊可能比先前認為更可行。
研究顯示,固定基礎模型回答開頭的特定 token 線索,可令其在數學及編碼任務上取得媲美 RL 訓練模型的表現。例如,指定線索令 Olmo-3-7B 在 MATH-500 的 pass@1 準確率由 42% 升至 78%,而 Qwen3-14B 則由 72% 升至 87%。
G42 旗下 Inception、MBZUAI 基礎模型研究所與 Cerebras Systems 推出 Jais 2 阿拉伯語大型語言模型系列,包含 8B 和 70B 型號。
Thinking Machines Lab 推出 Tinker,一個用於微調語言模型的彈性 API,並以託管服務處理分散式訓練。Tinker 支援多種大、小型開放權重模型,包括 Qwen-235B-A22B;開源 Tinker Cookbook 提供可在 Tinker API 上執行的後訓練方法實作。Tinker 目前處於研究者和開發者私人測試階段,初期免費,並將於未來數週引入按用量收費。
Tinker 邀請開發者和研究人員提交社羣項目,並計劃定期在網誌刊出精選成果。徵集涵蓋機器學習研究、微調模型應用、產品原型、數據集及基礎設施;投稿應附研究説明,最好開源程式碼,並展示嚴謹評估和透明結果。
AI 數據供應鏈正聘用受自動化影響的專業人士,讓他們撰寫評分細則、標準答案和推理軌跡,以訓練 AI 接手他們原本從事的工作。受訪者描述,Mercor 等平台的工作項目短促且不穩,並伴隨工作監控、保密限制及薪酬下調;加入 Nova 後,一個項目的工作內容未變,時薪卻減少 24%。報道亦討論這類獨立承包工作欠缺保障的問題,以及相關用工身份引發的訴訟。
Eugene Yan 以 Semantic IDs 微調 Qwen3-8B,訓練出可根據用戶互動及自然語言指令調整推薦的 LLM 推薦系統混合模型。他以 RQ-VAE 將商品嵌入向量編碼為階層式 Semantic IDs,並建立 4.2 million 組涵蓋 ID 與商品描述互轉、下一項預測等任務的對話訓練例子。
Cohere 分析超過 5.6 million 個涵蓋不同訓練階段的樣本,發現文化多樣性由預訓練進入後訓練時持續收窄。增加語言種類可擴大地理多樣性,但整體文化內容比例會趨於停滯。在 TinyAya base model 微調時加入文化標記後,NormAd、BBQ、GMMLU 分別提升 +8%、+6%、+2.3%,且一般多語能力未受損。
Zyphra 公佈 Zyda,一個包含 1.3T tokens、供語言模型訓練使用的開放數據集。它整合七個開放數據集,經統一的品質過濾及跨數據集去重,並以開放且寬鬆的授權發布。消融研究顯示,Zyda 表現勝過 Dolma、Fineweb、Pile、RefinedWeb 和 SlimPajama 等現有開放數據集。
Zyphra 預覽 ZAYA1,稱其為首個完全以 AMD 硬件、軟件及網絡堆疊端到端訓練的 AI 模型。ZAYA1-base 使用 Zyphra 內部 AMD 專用訓練堆疊,訓練總量為 14T tokens;訓練叢集由 128 個節點組成,搭載 AMD MI300X GPU,實際訓練效能超過 750 PFLOPs。
Zyphra 發佈 ZAYA1-8B,這款 MoE 模型的活躍參數少於 1 billion。該模型在部分數學和編碼基準中勝過規模大得多的開放權重模型;搭配 Markovian RSA 時,HMMT'25 得分為 89.6,並逐輪只傳送最後 4K tokens 以維持固定上下文長度。
Prime Intellect 探討全球分散式訓練方法,説明如何整合各地 GPU 資源訓練 AI 模型。文中介紹 Google DeepMind 的 DiLoCo,利用內外層最佳化,讓各運算島約每 500 次更新才同步梯度,以減少通訊負擔。全球部署仍要應對頻寬有限、硬件規格不一、算力變動及容錯等問題。
Prime Intellect 發佈 INTELLECT-1,並稱這是首個全球協作訓練的 10B 參數語言模型。模型以 1T tokens 訓練 42 天,橫跨 5 個國家和 3 大洲,最多同時使用 112 張 H100 GPU;全球分散式訓練的計算利用率為 83%。
Prime Intellect、USC 與 Nucleic Acid Observatory 合作發佈 METAGENE-1,這是一個為疫情監測設計的 7B 參數宏基因組基礎模型。
Fireworks 以私人預覽形式開放 Kimi K3 的 Multi-LoRA 訓練與服務,並透過 Fireworks Serverless Training 提供。
Fireworks AI 已在其平台提供 Kimi K3 推理與訓練,並推出以 Kimi K3 起步的美國境內 Serverless 端點。Kimi K3 有 2.8T 參數;端點提供美國境內推理及零資料保留,Fireworks 對開放模型預設不記錄或儲存提示詞及生成數據,除非用戶明確選擇加入。
Prime Intellect 啟動 INTELLECT-2,展開 32B 參數模型的全球分散式強化學習訓練,並開放任何人無需許可地貢獻異構算力。訓練以 QwQ-32B 為基礎,採用 DeepSeek-R1 的 GRPO 方法,聚焦可驗證的數學與編碼任務,並以系統提示詞設定思考 token 預算。
Prime Intellect 發佈 INTELLECT-2,稱這是首個透過全球分散式強化學習訓練的 32B 參數推理語言模型。訓練以跨異構運算節點的全非同步 RL 為核心,並配套推出 PRIME-RL、TOPLOC 和 SHARDCAST;模型、程式碼及數據均已開源,技術報告見 primeintellect.ai/intellect-2。
Goodfire Research 提出模型差分放大法,放大模型在後訓練前後的 logits 差異,以協助浮現罕見不良行為。實驗顯示,該方法令湧現失配回覆增加 10 至 300 倍;當資料集含 5% 不良醫療建議時,有害回覆由每 10,000 次抽樣 1 次增至每 30 次 1 次。研究亦把此法用於監察後訓練和偵測後門行為;作者指出,放大後的回覆頻率不代表模型行為的實際發生率。
Fireworks AI 宣佈 Training API 與 Fireworks Lab 正式開放,並讓團隊可接入自訂訓練迴圈。API 由 Fireworks 管理分散式訓練與 rollout 基礎設施,用戶可在 Python 中掌控訓練迴圈、損失或獎勵、資料及環境。
Prime Intellect 發佈開放數據集 SYNTHETIC-2,收錄 400 萬條經驗證的推理軌跡,涵蓋複雜強化學習任務。全球共有 1,253 張 GPU 參與生成;TOPLOC v2 的誤報率為 0.000925%,證明驗證中位成本跨模型平均比重新執行原始推理低 25 倍。
Fireworks AI 的文章梳理企業邁向專門化智能的路徑,從租用封閉式前沿模型、加入開源模型,逐步走到微調自有模型。在 UIPad 測試中,Kimi K3 與 GPT 5.6 Sol 整體同為 87.7 分,但 Kimi K3 執行成本為 $56,GPT 5.6 Sol 為 $115;按題型分流,可把座標題交給 Sol,其餘題目交給 K3。
Prime Intellect 擴大開源環境計劃,推出大型懸賞計劃並承諾投入數十萬美元資助開發者,目標是把開源環境擴展至數千個。過去兩個月,社羣透過懸賞和 RL Residency 匯集 400 多個前沿 RL 環境及評測,80 多個實作已接受審核,RL Residency 則有 500 多名申請者。
Prime Intellect 發佈 106B 參數的 INTELLECT-3 MoE 模型,並開源模型權重、訓練框架、數據集、RL 環境及評測。模型以 GLM-4.5-Air 為基礎,經 SFT 和 RL 訓練,使用 512 張 NVIDIA H200 GPU、分佈於 64 個互連節點,歷時兩個月。
Goodfire 與 Rakuten 合作研究以 SAE probes 偵測 Rakuten 的 AI 智能體用戶訊息中的 PII,Rakuten 已將該方法部署至生產環境。
Goodfire Research 提出以損失曲率辨識記憶方向的模型編輯方法,移除低曲率權重方向以抑制背誦,無需標註指定遺忘資料。在採用 10% 隨機標籤噪聲的 ViT 實驗中,噪聲標籤記憶率由 81.6% 降至 3.5%,驗證準確率則由 67% 升至 71.7%。語言模型的純記憶任務準確率降至原有水平的 3–16%,邏輯推理維持或略有改善,但算術和封閉式事實回憶較易受影響。
研究提出協方差池化,以 token 激活的截斷二階矩聚合基因組基礎模型的序列表示,保留均值池化忽略的特徵聯合結構。在 NTv3 的 Gene Ontology 預測及基因組軌道預測中,該方法表現大幅優於均值池化。它可透過重建二階矩學習低秩分解,生成定長嵌入,並用於有監督探測及無監督嵌入學習。
Prime Intellect 以 Llama 3.2-1B-Instruct 進行受控 RL 實驗,指出 reward hacking 是梯度動態問題,受可見獎勵與隱藏獎勵的競爭影響。
Goodfire Research 以探針式數據歸因追查 OLMo 2 7B DPO 訓練中出現的有害行為,移除相關數據後有害回應率下降 63%。方法以模型激活向量的餘弦相似度排序訓練樣本;交換排名靠前樣本的 accepted/rejected 標籤,可令有害回應率下降 78%。按數據來源移除四個問題最突出的模型生成的樣本,則可令有害回應率下降 84%。
Prime Intellect 宣佈加入 NVIDIA Nemotron Coalition,貢獻 2,500+ 個開放 RL 環境及後訓練工具,支援 Nemotron。
Prime Intellect 在 Prime Intellect Lab 開放 NVIDIA Nemotron 3 Ultra 的託管後訓練支援,涵蓋 RL 訓練、評測與推理部署。
Prime Intellect 為 prime-rl 新增演算法層,內建六種演算法並支援按環境選用,讓同一訓練執行可混用不同演算法。六種包括 GRPO、MaxRL、On-Policy Distillation、Self-Distillation、SFT distillation 和 ECHO;自訂演算法可沿用同一抽象實作,而毋須修改 trainer。
Prime Intellect 於 2026 年 7 月 8 日宣佈募集 $130M A 輪融資,由 Radical Ventures 領投,多家投資者參與。公司稱,累計融資額已超過 $150M,將用於建設涵蓋訓練、部署及持續改進的開放超級智能全棧。Prime Intellect 表示,其全棧已有超過 6k 名客戶使用,年化收入在不足一年內升至超過 $100m。
Prime Intellect 推出 verifiers 0.2.0,預覽重寫後的核心架構,將智能體訓練與評測環境拆分為 taskset、harness 及 runtime。
Suno 回應 RIAA 成員唱片公司於 6 月 24 日提起的訴訟,否認其音樂生成模型的訓練資料侵犯版權,並稱訴訟在事實和法律上均有缺陷。Suno 表示,其模型使用從開放互聯網找到的中、高質素音樂進行訓練,並主張學習音樂風格、模式與形式不構成侵權。公司稱,Suno 會檢查並阻止音訊上載中的受版權保護內容,也不允許用戶在生成音樂的要求中使用以藝人為基礎的描述,以鼓勵原創。
Zyphra Research 發現,非嵌入參數量介乎 5M 至 314M 的 GPT 式 Transformer,在多語言持續學習中會出現可塑性損失。研究提出縮放定律 T = 1.3 × 10^-5 · P^0.8269,預測可塑性損失的出現時間隨非嵌入參數量呈次線性增長,增加參數量的延後作用會遞減。研究亦在平穩學習中觀察到相似現象,表明可塑性損失並非只見於持續學習設定。
Zyphra Research 介紹 PUFFER,一套為持續增長的訓練語料設計的增量模糊去重系統,可逐批加入數據集而無須重建完整索引。
Replit 指出,企業要可靠採用 AI Agent,須先建立共享語義層及受治理的營運真相層,讓 Agent 依據一致的商業定義、指標和數據來源工作。其內部數據 Agent 將修正存入 git 儲存庫,經人工審核和驗證後供接觸數據的 Agent 共用;Replit 稱,該 Agent 每週回答遠超 1,000 個以數據倉庫為基礎的提問,並在答案中附上證據。