智能體在策略蒸餾如何隱式重塑 LLM 的 ReAct 模式
在策略蒸餾會改變 LLM 智能體跨領域的 ReAct 互動模式,成效因監督領域而異。一般推理監督令數學工具嘗試率由 70.4% 降至 14.4%,準確率由 16.7% 升至 38.0%;ALFWorld 監督則令 τ^2-bench 準確率由 41.5% 降至 6.6%。
在策略蒸餾會改變 LLM 智能體跨領域的 ReAct 互動模式,成效因監督領域而異。一般推理監督令數學工具嘗試率由 70.4% 降至 14.4%,準確率由 16.7% 升至 38.0%;ALFWorld 監督則令 τ^2-bench 準確率由 41.5% 降至 6.6%。
Amazon SageMaker HyperPod Data Capture 提供三個獨立層級的擷取方式,讓團隊把推理數據記錄至 Amazon S3,供分析和訓練使用。
推薦理由:文章以合成資料展示從生產推理記錄、Athena 分析到 SQL 標註與微調的完整流程,並比較留出測試的前後結果。
作者發現,交易模型的即時驗證器把每秒淨主動成交量的第 75 百分位當作單筆交易門檻,令受影響交易對的門檻高出 163–423 倍。修正四項特徵差異後,原始重建覆蓋 14,681 個候選,修正特徵選出 52 個;五秒 Binance markout 平均 +8.67 bps,假設 10 bps 往返手續費後為 −1.33 bps,沒有策略獲得晉級。
黃仁勳辭任 Nvidia 行政總裁,令中國取得 Nvidia 晶片的前景,以及 Nvidia 與亞洲供應商的關係增添不確定性。董事會安排財務總監 Colette Kress 暫任行政總裁;美國政府可能收緊晶片管制,中國 AI 實驗室正設法鎖定海外 Nvidia 晶片供應,境內交易商亦囤積受限制晶片。
推薦理由:文章以出貨量、市佔和性能數據對照 Nvidia 與中國晶片商,呈現國產加速器追趕與 Nvidia 仍具關鍵地位並存的市場情況。
蛋白質設計團隊應把實驗測量、控制結果及未成功的原因回饋給 AI 模型,而非只標記成功或失敗。Google Research 的 aptamer 研究在三輪設計中,將珠粒篩選和測序結果交給 AI agents,協助它們調查交叉反應並調整後續設計。區分未檢出結合、測量不可靠及樣本未通過品質控制等結果,有助團隊決定重新設計候選項目、重做測量或調查實驗方法。
語義模型為 AI 明確界定數據含義,令輸出可追溯至易理解的概念,而非不透明的相關性。缺乏語義時,檢索可能只匹配相似字詞,而非正確概念,產生看似合理但不可靠的答案。安全規則和存取政策可在語義層按含義統一定義。
前 OpenAI 研究員 Will DePue 稱,六個自 2026 年 4 月起發布的中國 AI 模型帶有 Nvidia Blackwell GPU 的權重初始化特徵。
研究提出一種經驗交接強化學習方法,讓語言模型智能體在固定框架下學習執行任務、反思經驗及整理任務專用手冊,並按這些經驗對未來執行結果的影響來評估其效用。該方法在多項智能體基準測試中的留出表現高於基線方法。
重慶出台《重慶市促進詞元驅動的數據產業高質量發展行動計劃(2026—2028年)》,以詞元供給為關鍵支撐部署數據產業發展。計劃提出到2028年全市可調度智算規模超10萬P、高質量數據集累計達3000個以上,帶動數據產業產值年均複合增長10%以上。配套措施設算力券、詞元券和語料券,並支持數據產權登記及探索「算力貸」「詞元貸」等融資模式。
Sino Biological 於 2026 年 11 月 13 日推出 4RISE,為 AI 設計的蛋白質結合分子提供高通量濕實驗驗證服務。公司稱,蛋白質最快可在 3 小時內以無細胞方式表達,並在最快 3 天內交付由序列到 AI 可用的結合數據,另提供即時 API 存取結構化結果。
Sunny Chokshi 建立 CommentInject,測試誤導性程式碼註解會否影響大語言模型程式碼審查器對同一段程式碼的判斷。數據集涵蓋 30 個有漏洞的 Python 函數、14 個 CWE 類別及 12 種註解策略。研究中,加入誤導性註解後,漏洞檢出率由 90.0% 降至 75.2%;移除註解後回升至 90.0%。
Google DeepMind 開放 WeatherNext 3 所依託的 SatWeave 與 PARDIG 數據集,提供即時數據流及 CC BY 4.0 授權;PARDIG 歷史檔案涵蓋 1999 年至 2026 年。
Translated 發佈研究模型 Lara Mini,以 6 trillion tokens 訓練,涵蓋英語及另外 44 種語言;模型有 7.2 billion parameters,每個 token 啟用 600 million parameters。
CPMAI 培訓涵蓋 AI 項目管理基礎,以及由商業理解、數據理解、數據準備、模型開發、模型評估至模型運作化的六階段生命週期框架。負責任及可信任 AI 治理貫穿各個模組,課程亦涵蓋數據準備度、私隱合規、模型監察與持續管理,並保持工具及供應商中立。
清華大學江瑞課題組發布單細胞蛋白組基礎模型 ProtCell,並在摩爾線程 MTT S5000 上完成全流程預訓練復現。模型以約3.8億個細胞及98個公開數據集進行預訓練與評估,雙平台主要定量評測指標差異約0.2%。ProtCell 程式碼已在 GitHub 開源,官方倉庫整合 MUSA 預訓練啟動入口。
Fireworks CEO 喬琳認為,編程智能體令應用更容易開發和複製,企業難以複製的護城河是反映用戶偏好、意圖和互動的私有數據。Fireworks透過訓練和推理平台,協助企業結合私有數據與開放模型,打造面向具體應用的定製模型。她表示,Fireworks目前95%的流量來自定製模型。
自架網站的攝影作者因 LLM 爬蟲流量擠滿上載頻寬,正考慮撤下現有攝影網站,改為只提供各活動實體小誌的購買連結。作者曾用 nftables 封鎖多個大型雲端服務商的 /16 IP 網段,並加入 nft-blackhole,稱情況似乎有所改善。
上海市科委會同市數據局制訂《上海市科學數據管理辦法(試行)》,推動科學數據與人工智能融合發展。辦法共七章二十八條,涵蓋科學數據管理職責、數據匯交與治理、開發利用與開放共享、數據安全及保障措施,規範科學數據全流程管理。
中小型製造企業的數碼化短板不在系統或數據不足,而在員工的隱性經驗難以沉澱和流轉,令關鍵工藝判斷隨人員流失而中斷。以注塑調機為例,AI 可協助把業務概念轉化為本體模型,經業務專家核實後沉澱為企業知識。單一業務域的建模週期可由數月縮短至 1-2 周,配套 AI 助手亦可讓一線人員查詢操作指引並持續豐富知識庫。
Kronos 是專為金融 K 線打造的開源基礎模型,利用來自 45 多個交易所的數據預測價格和成交量。模型先將 K 線數據轉為分層離散 token,再以自回歸 Transformer 預訓練。項目採用 MIT 授權,提供不同規模的預訓練模型,並設有 BTC/USDT 未來 24 小時預測示範。
Ropedia Xperience 2 提出以環境和行為共同採集為核心的具身 AI 數據方案。數據包括 1,589 個已公開、具公制尺度的 3D 掃描,以及涵蓋 74 項任務、共 131 小時的 4,230 段第一視角錄影。場景可轉成具物理互動性的模擬環境,人類動作可重定向為全身機械人軌跡,並以虛擬遙操作和自動生成長時程軌跡補充機械人行為,為研究環境與行為的規模擴展規律奠定數據基礎。
Ropedia 發佈 Physical AI 數據集 Xperience 2,將真實場景掃描與人的第一視角活動記錄對齊,涵蓋場景幾何、影片、軌跡及身體姿態。本次發佈包括 1,589 個場景、12 類真實空間;技術報告展示把掃描場景轉成可互動模擬環境,以及將人體動作重定向為機械人軌跡等用途。
PhysLoop 以大語言模型引導影片生成、篩選及修正,協助影片生成模型生成符合物理規律的影片並自我改進。研究團隊公開了涵蓋室內及室外場景的 100K 段影片、生成工具,以及 PhysLoop-Gen 和 PhysLoop-Repair 兩個評測數據集。研究亦以 Physics-IQ Verified benchmark 評估影片的物理表現。
FOAM 是一種輕量級 SOAP 變體,透過僅輸入端預處理及因子化 Adam 矩估計器,降低記憶體使用量並移除一次特徵分解。LLM 預訓練測試顯示,FOAM 在 124M 至 760M 參數規模下,驗證損失媲美 SOAP 和 Muon,優化器狀態僅為 SOAP 的一半,運行速度則達 Muon 級別。它亦能在三倍學習率範圍內保持穩健。
研究發現,表現不佳的決策模型仍可透過評判完整行動軌跡,有效教導強化學習策略。JEV以GRPO訓練Qwen2.5-1.5B策略後,ALFWorld成功率由72.8%升至82.9%,WebShop則由56.8%升至71.4%。逐一判斷每個行動是否有幫助,能區分有用和無用的行動。
洪波在浦江創新論壇2026腦機接口大會媒體通氣會上表示,2026年是中國腦機接口發展具里程碑意義的一年,臨牀應用和數據生態是今年兩項關鍵變化。上海博睿康科技自主研發的NEO於3月13日獲批上市,並於7月13日在復旦大學附屬華山醫院完成全球首例商業化植入手術;截至目前已完成12例,納入上海醫保「滬惠保」,最高報銷30%。
腦語科技正研發跨患者的語言腦機接口解碼方案,致力減少新患者適配所需的數據和時間。團隊以NOVA架構處理電極位置差異,並以語音參數作為解碼出口,相關方法已在多名患者的數據上完成跨主體驗證。團隊表示,原始解碼正確率須先達到約50%,語言模型補全才會帶來正面幫助。
ML 評估應先檢查訓練集與測試集是否包含同一來源的樣本,以免分數反映部分熟悉來源上的表現。按希望泛化至的單位,例如原始圖像、設備、地點或參與者,設定 group ID;示例檢查發現 image-A 同時出現在 train 和 test,應將同一來源的樣本放入同一 split,重新生成 manifest。
LoRA 在一般規模的指令微調與推理數據集上,配置得當可媲美全參數微調;RL 實驗中亦達相同表現,建議套用至所有權重矩陣,並採用約 10 倍學習率。混合精度 Adam 下,全參數微調的記憶體需求約為 LoRA 的 7.7 倍;訓練涉及數十億個 token 的新知識時,LoRA 則可能受 adapter 容量限制。
雲端微調 Qwen 時,指南按模型規模與單卡 GPU 顯存整理 LoRA/QLoRA 方法和硬件配置。
Unemployment Labs 的 Will DePue 發表鑑識報告,指 DeepSeek、Moonshot AI、MiniMax 和 Ant Group 的六款模型權重呈現與 NVIDIA Blackwell GPU 初始化配置相符的數值模式。
推薦理由:報告透過模型權重中的初始化數值模式辨識硬件配置,並説明這類指紋支持哪些推論,以及無法確認哪些出口管制事實。
Unemployment Labs 的分析在四家公司的六款開放權重模型中,發現與 NVIDIA Blackwell GPU 初始化相符的模式。
SpaceX 於 11 月 12 日宣佈,計劃在得克薩斯州和亞利桑那州投資超過 740 億美元,興建兩座面向 AI 的超級計算數據中心園區。得州園區投資超過 240 億美元,設於 Starbase 附近並自建燃氣發電能力;亞利桑那州園區投資約 500 億美元,計劃採用乾式冷卻。亞利桑那項目仍待科奇斯縣批准,約 2,400 人已簽署請願反對許可,縣聽證會定於 12 月舉行。
推薦理由:兩個園區的投資規模、供電與冷卻安排,以及亞利桑那項目的審批阻力,交代 SpaceX 擴張 AI 算力基建所面對的建設條件。
DeepSeek、Moonshot、MiniMax 和 Ant Group 自 4 月以來發布的六個開放權重模型,被分析指出帶有受出口管制 Blackwell GPU 的特徵。原文未提供相關特徵的具體內容或分析方法。
中國前沿 AI 模型帶有受出口管制 GPU 的「指紋」,標題未提供更多相關細節。
語言模型需要高維嵌入,因為更大的表示空間可編碼 token 及其上下文資訊,形成更豐富的表示。原始 Transformer base 架構使用 512 維表示,並在數據集上訓練學得;各維度不一定對應可識別的概念。超位置原理則讓神經網絡透過重疊方向表示多於神經元數量的特徵。
Leeroo 開源 Kapso,這個面向企業數據工作的引擎會執行實驗、部署最佳方案,並從每次運行中學習。它從過往實驗建立經驗庫,按預期回報與預算排序新方案,由 verifier 模組核驗結果,再依據證據更新經驗庫;系統不依賴特定模型或編碼智能體。
作者開源 Task Model Distiller,以三支柱流程把前沿智能體能力蒸餾至可在普通 CPU 本地運行的 sub-2B 模型。流程結合完整多輪工具呼叫軌跡、對抗式裁判,以及包含 30–50 個情境的鎖定回歸基準,並按失敗類型生成修復軌跡。
Arena Physica 將與 AMD 合作,使用 Oak Ridge National Laboratory 的 Lux 超級電腦訓練 Heaviside 電磁模型的後續版本;這是訓練計劃,並非新模型已發佈。
作者在 Vast.ai 的 RTX 4090 主機上,以同一個 Qwen2.5-7B-Instruct 4-bit QLoRA 任務執行 8 次,帳單介乎 $0.19 至 $0.81。