小樣本生存資料的遷移學習:n=50 時哪些方法有效
Zhao 等人在結直腸癌 I 期相關隊列研究中發現,遷移學習可提升小樣本生存模型表現,樣本量低至 n=50 時仍觀察到改善。完整目標隊列中,RSF/TSF 的 Ctd 由 0.7940 升至 0.8297,是文中最高值。研究以 TSF 遷移樹結構,並以預訓練和微調處理 DeepSurv、Cox-CC 及 DeepHit;結果限於相關來源隊列。
Zhao 等人在結直腸癌 I 期相關隊列研究中發現,遷移學習可提升小樣本生存模型表現,樣本量低至 n=50 時仍觀察到改善。完整目標隊列中,RSF/TSF 的 Ctd 由 0.7940 升至 0.8297,是文中最高值。研究以 TSF 遷移樹結構,並以預訓練和微調處理 DeepSurv、Cox-CC 及 DeepHit;結果限於相關來源隊列。
中國科學技術大學先進技術研究院科研團隊研製植物工廠系統,按不同植物定製「光配方」,以調節光強、光譜和光週期。團隊以多通道光量子傳感器測量各波段光子數,並將數據回傳控制系統閉環調光;作物生長數據亦用於訓練植物生長大模型、迭代配方。植物工廠與光電子農業技術已走出實驗室,產品銷往馬來西亞、新加坡等國家和地區。
作者向來自 30 間公司的 65 個 AI 提問 127,918 次,發現不同用戶經常收到相同建議。書籍推薦中,73% 的回答是《Man's Search for Meaning》,而 90% 的求學建議指向電腦科學;在一個可逐階段測量的開放模型中,常見答案於監督式微調階段出現。測試亦顯示,提供個人細節可把常見預設答案比例由 53% 降至 11%,要求列出 10 個選項後自行挑選則降至 17%。
Harness-S 在 AppWorld、SWE-Gym 和 DBBench 上利用專門化執行框架訓練共享策略,並在原始執行系統 H0 下評估時,表現顯著優於只訓練策略的方法。Qwen3.5-4B 和 Qwen3.5-9B 兩種規模的策略均有提升;在執行器 rollout 次數相同的情況下,Rank-1 推理路由亦帶來增益。原文未提供主要結果表的數值。
這項綜述梳理 LLM 文本私隱與匿名化方法的演進,指出研究已由靜態移除個人可識別資訊(PII),轉向兼顧語義效用、任務需求與合規性的動態決策。文中整理語義重寫、局部差分私隱、基準評估及代理私隱對齊等路線,並比較各自在表示質素、適應效率與計算成本上的取捨。
Bytedance 與多所美國大學的研究團隊旨在證明,AI 模型訓練只需三個階段,並以具競爭力的開源模型支持這一論點。研究指出,訓練流程層層疊加,令各階段的實際作用難以判斷,重現研究的成本亦愈來愈高。
MIT研究人員提出一種為混沌系統機器學習模型加入物理約束的方法,確保模型預測長期維持有界,避免產生不可能的結果。方法讓模型學習類似能量的函數,並加入投影層,以能量耗散作為硬約束;團隊在多種物理系統測試,結果較傳統方法更貼近實際。
研究提出 self-rewriting,讓 27B 語言模型以自身推理改寫權重,無需梯度或訓練。模型在未見問題上的準確率提高 6.6 個百分點,並在連續八次測試修改中保持提升。研究亦報告,模型可修復受損副本,使其在未見圖像任務上的準確率恢復至原模型的 80% 以上。
清華大學、北京大學研究團隊發現,注意力匯聚會令少數 Token 集中承接反向訓練信號,形成「梯度匯聚」,而巨大激活可經 RMSNorm 衰減局部梯度。在 0.3B 模型中,採用 V-scale 後梯度匯聚比值中位數由約 40.3 降至 5.6,注意力匯聚仍然明顯;研究成果獲 NeurIPS 2026 接收。
研究提出零梯度電路嫁接方法,無需訓練樣本或執行時掛鈎,便可把確定性計算直接編入預訓練語言模型權重。在 6 位數算術測試(N=1,200,BF16)中,IBM Granite 4.2 3B 和 Alibaba Qwen 3.5 4B 的 ALU-prefix 準確率分別為 99.17% 和 100.00%。
研究團隊建立 LLM 驅動視覺模型權重空間程式設計基準,並發現專為編輯準備模型可大幅提升編輯成功率。研究以 5 個 LLM 在 4 個數據集上進行超過 2,600 次編輯;Edit-Ready Training(ERT)在 GPT-6 Astra 和 Claude Opus 5.5 的所有評測基線中取得最高平均分。團隊將公開測試框架、任務、編輯軌跡及評分。
LightningMoBA結合動態路由、KV重用及流水線執行,提升MoBA的GPU注意力計算效率。於五個模型、4K至128K上下文及完整RULER測試中,相較FlashMoBA平均端到端速度提升1.20–1.60×,平均RULER分數由74.42升至75.28。
AutoMaster 是一套自主後訓練系統,透過分析軌跡、設計技能、篩選資料及評估目標模型,改善同一模型生成教師軌跡的方式。系統在 Terminal、Search 和軟件工程任務中,以 4B 和 9B 目標模型測試,較 Vanilla SFT 的平均表現提升 1.42-8.99 個百分點。六種設定均顯示,微調時保留技能指示的平均表現較移除指示更高,即使評估時沒有這些指示,監督輸出亦相同。
《Posterior Matching Distillation》以後驗匹配蒸餾為題,收錄於 HuggingFace Daily Papers 社區熱門論文。頁面顯示,目前沒有模型、數據集或 Space 連結至該論文。
論文提出 TuringSpace,一個包含 125 個互動式 CAPTCHA 的合成網頁環境,透過點擊和拖曳測試多模態模型的五種空間能力。人類成功率為 94.1%,表現最佳的模型 GPT-6 Astra 仍有 25.9% 的任務失敗;最佳開放權重模型 Kimi K3 則有 68.0% 失敗。
Meta FAIR 推出 Self-Improving Memory,讓 AI 智能體自行發現記憶提示詞,再透過微調把相關技能寫入模型權重。這種方法在 3 項 Continual Learning Bench 任務的平均分為 56.0,高於最佳人工編寫方案的 44.6;Codebase 任務取得 64.3 分,領先 20.6 分。
CurvDelta 和 CurvLoRA 將大語言模型更新限制在低曲率保留空間,以提升一般能力保留度,同時維持目標適應效果。兩者以數學推理、程式碼生成及知識遺忘任務作評估;在 TOFU 和 MUSE 上,方法在目標遺忘與知識保留之間取得較佳平衡,保留表現接近從頭重新訓練的參考結果。
多模態決策模型系列 Piccolo(0.8B 至 27B)透過智能體數據工程及遞歸自我改進,協同演化模型能力與訓練數據。
HINT-WAM 提出一種用於世界動作模型的 on-policy 自蒸餾框架,利用示範影片中的未來畫面作為後見資訊,為模型自身生成的動作軌跡提供訓練目標。框架以 energy score 蒸餾教師模型的動作分佈,無需環境獎勵或模擬器互動。
Google DeepMind 與 Google Research 聯合發布 PARDIG,提供全球 15 分鐘、0.1°(約 10 km)分辨率的 AI 降水估算數據。
WorldRuler提出基於規則圖的生成式世界模型,可在儲存及載入時保留用戶定義的規則與世界狀態,並準確呈現規則對指定物件及屬性造成的視覺變化。研究以 GTA-V 和 Habitat 建立 RuleVerse 數據集,並透過動態物件綁定、屬性狀態替換及反事實重建訓練,提升規則執行與影片生成的一致性。
一項 Airfoil Self-Noise 實驗比較兩個各用 843 行資料訓練的模型池:納入測試條件其他頻率資料的 B,平均測試 MAE 為 2.323152 dB,低於未納入的 A(2.644575 dB)。603 組配對比較中,B 有 237 組絕對誤差較大;由於替換資料亦改變資料覆蓋範圍及正規化結果,實驗不能證明改善是由看過測試條件造成。
研究提出 Chiron,一個由大型語言模型微調而成的基礎模型,用於測量和預測人類行為,並使模擬人口回應分佈與人類統計數據對齊。訓練及評估資料涵蓋 36 個行為領域、78 項社會科學實驗、288,307 筆個人紀錄、1,411,750 項原子行為決策,以及涵蓋 109 個心理構唸的 99,953 項心理測量評估。
PACT 將預訓練時序基礎模型的嵌入空間劃分為局部區域,透過殘差傳輸適應新運行條件,同時保留已學習條件的表現。每個新條件只需 5% 標註校準數據,在測試時無須提供條件身份;在四種軸承故障條件的序列中,平均 macro-F1 維持在 0.95 以上。編碼器、分類器及先前學習的傳輸模組保持固定。
研究團隊提出 STOPD,透過隨機截斷生成並以逆概率加權補償,在準確率與 Vanilla OPD 接近的情況下,令訓練提速 1.3–2.2 倍。實驗中,生成 token 減少 25%–48%。論文和程式碼均已公開。
研究團隊測試了 892 種股價突破關鍵價位後的交易策略,沒有一種通過全部測試;但在買盤推動突破時,突破當分鐘入場優於同日隨機入場,60 種可檢驗組合的結果方向一致,其中 48 種達到 p below 0.001。團隊正訓練模型,從一分鐘 K 線生成逐筆交易細節,以研究出場規則;生成數據的結果仍須在真實 tick 數據上驗證。
中國科學院青藏高原研究所於11月16日發佈萬拓(One2N)氣象大模型,依託一張80GB顯示卡、歷時約4週,將原有0.7°預報模型細化為全球0.07°、每2小時更新一次的兩級預報系統。
Tomorrow.io 的研究顯示,改善大氣初始狀態可提升 Aurora 1.5 和 WeatherNext 2 的 AI 天氣預報,無須更改預報模型。Sky 1 每小時更新初始條件;加入 15 個微波探測器的觀測後,28 個案例的初始水汽誤差降低約 5–8%,112 個 Aurora 1.5 預報在最多五天的各評估時效均降低近地面氣温誤差。
作者為大眾開展失智症開源項目,研究以 EEG 區分 Alzheimer's 與 FTD,最佳方案準確率為 63.3%,僅略高於猜測。項目採用巢狀交叉驗證,但目前樣本量小且來自單一地點,成果屬研究基準,並非診斷工具。項目徵求更多開放失智症 EEG 數據集、預訓練 EEG 基礎模型及獨立數據集測試方面的協助。
Hugging Face分析272次生產環境監督式微調(SFT)工作,發現CatBoost能更準確地預測端到端耗時。測試涵蓋約7,382 GPU 小時;CatBoost的R²為0.98,平均絕對誤差為1.71小時,中位誤差為0.51小時。相比之下,FLOP估算的R²為0.31,平均絕對誤差為12.41小時。
PAD提出一套策略感知數據價值評估框架,按目標駕駛策略衡量每段示範數據的效用。在 DiffusionDrive 上,相較只用真實數據訓練,PAD令 EPDMS 在 NavTest 提升 3.5 點、在 NavHard 提升 5.0 點;按策略篩選數據亦優於只用真實數據或完整數據池訓練。
GameRealm 是大型多模態遊戲資料集,收錄超過 120 million 個 RGB 影格及 1,000 hours 遊戲片段,並以同步標註將視覺觀察與遊戲中的監督訊號連結。資料集涵蓋深度、相機參數、音訊、控制輸入及 3D 點軌跡,並支援單視角、立體、多視角及全景錄製。實驗顯示,GameRealm 能提升視覺基礎模型在視覺生成及幾何學習任務上的表現。
作者以 EfficientNet-B0 在 APTOS 2019 訓練糖尿病視網膜病變分級模型,五折集成在保留測試集的 QWK 為 0.909。只用檔案屬性的 RandomForest 未讀取視網膜像素,仍得 QWK 0.652;同一模型在 IDRiD 與 Messidor-2 的 QWK 分別為 0.805 和 0.493。
MillBill 將 B-rep 零件、毛坯及材料轉換為索引式三軸銑削的 G-code,並以幾何回饋協助模型修訂加工計劃。在100個 GrabCAD 零件的模擬評分中,本地運行的開源 Qwen3.8-27B 令97.4%的目標表面偏差維持在0.1 mm內;GPT-6 Astra、Claude Opus 5.5及 CNC-Net 分別達到94.3%、83.0%及42.3%。
研究發現,Claude Fable 5.2 和 Opus 5.5 能從少有研究的蛋白質序列預測下一個氨基酸,結果顯示 Claude 的訓練資料包含大量蛋白質序列。
港大牙醫學院領導的國際研究團隊開發 DentalGEN 生成式 AI 框架,將牙冠實際設計時間縮短超過 90%。使用標準 GPU 時,DentalGEN 可在 60 秒內為每個病例生成完整、可直接製造的 3D 牙冠,形態誤差較以往用於牙冠設計的生成式 AI 模型降低 70%。
RepoFactory 從真實軟件倉庫建構完整專案開發環境,透過環境演化循環,以驗證執行和程式碼分析提供即時、低成本的代理指標,持續改進任務環境。
TPHC 結合張量並行分片與 Hyper-Connections 殘差流,降低語言模型損失並提升零樣本推理表現。8B 模型採四條流時,訓練時間較 mHC 多 9%;流數由四增至十六,訓練時間僅多 19%。1.1B 模型以 100B tokens 訓練後,驗證損失較同流數 mHC 低 0.7-1.0%,六項常識推理基準的平均零樣本準確率高 0.3-0.7 個百分點。
Sumama-Jameel 免費公開 megabit-trajectories 編碼軌跡數據集,收錄 66 段錄製及 2,541 次真實工具呼叫,採 MIT 授權並附驗證腳本:https://github.com/Sumama-Jameel/megabit-trajectories。
MIT 與 Cornell University 研究人員展示,測試時適應(TTA)可提升 AI 文字檢測器應對寫作習慣變化及偽裝文本的能力。在模擬人類寫作隨時間變化的實驗中,TTA 檢測準確率為 85%,傳統方法為 73%;面對偽裝成真人撰寫的 AI 文本,TTA 可識別超過 93%,現有方法約為 27%。