跳到正文
10月30日週五
  1. HuggingFace Daily Papers(社區熱門論文)40

    DecisionRank:面向決策模型重排器的 on-policy 蒸餾

    DecisionRank 以 item-space on-policy 蒸餾,把生成式教師模型的排序知識轉移至決策模型,在檢索基準上達到最先進表現,推理速度亦顯著提升。1.7B 參數的 DecisionRank 在 TREC DL19–23 超越 27B 生成式教師模型;8B 版本在 TREC DL 上快 24.5 倍,在 BRIGHT 上快 16.7 倍。

  2. HuggingFace Daily Papers(社區熱門論文)40

    MUON-RT 重用教師軌跡,實現面向 LLM 自蒸餾的無動量 Muon

    Muon-RT 重用教師與學生的位移,免除隱藏權重矩陣的獨立動量緩衝區。在 Qwen2.5-7B-Instruct 的 SDFT 中,其平均準確率較 AdamW 高 2.6 點、持久記憶體用量少 42%;較 momentum Muon 高 5.4 點、記憶體用量少 27%。在 Olmo-3-7B-Instruct 的 SDPO 中,平均準確率較 AdamW 高 2.0 點。

  3. HuggingFace Daily Papers(社區熱門論文)37

    輔助獎勵如何幫助小型語言模型從經驗證的推理軌跡中自我改進並評估遷移能力

    研究比較信心指標 SC 與結合全局熵變化和局部平滑度的 UID-Conj.,評估輔助軌跡偏好對小型語言模型自我改進及遷移的作用。Qwen3-1.7B 在 30 道 AIME 題目上的在線實驗中,UID-Conj. 較未修改的 TTRL 在適應基準及三個遷移基準的宏平均高 2.08 個百分點;離線加權 SFT 中則較均勻加權高 1.93 個百分點。

  4. DEV Community59

    去識別化中的個人資料檢測方法與侷限

    文章比較 Regex、機器學習模型及 LLM 偵測個人資料的做法,指出效果取決於資料形式、上下文,以及模型是否接觸過相近領域的標註樣本。校驗碼規則適用於固定格式識別碼,但仍會誤報,也無法處理姓名和自由文本地址;模型表現則受資料集和評分方式影響。CV benchmark 中,最佳方案的召回率達 0.97,仍有 40 份履歷中的 10 份洩漏個人資料;文章建議以相近資料的標註樣本評估偵測器。

  5. DEV Community23

    LGPD 如何規管健康敏感資料的處理

    巴西《一般個人資料保護法》(LGPD)將健康、基因及其他特定個人資料列為敏感資料,要求處理者具備第 11 條所列的法律依據,並採取與風險相稱的安全措施。用於訓練 AI 模型的資料須經不可逆匿名化;假名化或遮蔽資料仍受 LGPD 規管。醫療從業者及機構亦須遵守 CFM 第 2.288/2021 號決議,違規可能引致行政制裁或紀律程序。

  6. DEV Community45

    第 29 天:企業 IT 如何管理技術債、模型漂移與模型治理

    AI 系統即使沒有修改程式碼,也可能因數據分佈或輸入與正確答案之間的關係改變而逐漸失準,分別稱為數據漂移和概念漂移。企業可用 PSI 或 Kullback-Leibler divergence 持續比較生產數據與基準,並建立模型清單,記錄訓練數據版本、量化設定、授權責任及業務負責人。安排重新訓練和退役流程,有助避免過時模型及未維護的整合累積成技術債。

  7. Cartesia 產品與研究65

    Cartesia 發表 H-Nets 規模擴展研究:從 Tokens 到 Bytes(一)

    Cartesia 研究團隊分享改良版 H-Nets 的規模測試,結果顯示模型可在模型內動態分塊,並在語言建模中提升計算效率。受控的單階段 H-Net 比較中,BPE Transformer 需 1.28× 計算量才能達到相同驗證損失;在 Paloma 和 OLMES 評測中,所需計算量分別是 H-Net 的 1.83× 和 2.06×。

  8. Unite.AI48

    BBERT 利用 AI 識別土壤樣本中隱藏的細菌 DNA

    耶路撒冷希伯來大學及合作機構開發 BBERT,能識別短至 100 個鹼基的細菌 DNA 片段。基準測試中,BBERT 分辨細菌與非細菌 DNA 的準確率約為 90%,識別蛋白質編碼片段及其讀取框的準確率分別約為 88% 和 96%。團隊將工具應用於 1,969 個土壤 DNA 數據集;模擬混合樣本中,平均組裝時間由約 66 小時降至 25 小時。

10月29日週四
  1. HuggingFace Daily Papers(社區熱門論文)35

    沒有通道被遺忘:透過殘差閘理解擴散模型加速

    研究發現,REPA 等擴散 Transformer 加速方法會重組 AdaLN-Zero 殘差閘 α,而較廣泛的閘參與度與較佳生成品質相關。研究提出無需教師模型的徑向目標,透過特徵範數正則化促進廣泛參與;在 ImageNet 256times256 的 SiT-B/2 實驗中,該方法的 FID 優於 dispersive loss。

  2. DEV Community55

    Feature Store 是甚麼,團隊是否真的需要?

    Feature Store 是集中計算、儲存及供應機器學習特徵的系統,以同一特徵定義支援訓練與線上推理,主要處理訓練與服務偏差及跨團隊重用問題。文章建議先判斷是否有偏差、低延遲服務需求或重複建立特徵的情況,並評估團隊能否維運常駐基建。若只有少量模型或單一團隊,可先用共享轉換層、特徵目錄及同一資料來源,減少額外運維成本。

  3. 新浪科技24

    王騰:今日宜休聚焦精準監測、科學幹預與精力恢復,計劃一年內採集超 1000 例金標準臨牀 PSG 數據

    王騰公佈今日宜休的發展策略,聚焦精準監測、科學幹預與精力恢復,並計劃一年內採集超 1000 例金標準臨牀 PSG 數據。今日宜休將睡眠科學、AI 算法與軟硬件產品研發協同,構建面向個人的睡眠健康 AI 技術體系 ISHO Intelligence。睡眠科研範疇正由夜間睡眠質素延伸至日間精力狀態等醒後場景。

  4. IT之家25

    王騰:今日宜休聚焦精準監測、科學幹預與精力恢復,計劃一年內採集超 1000 例金標準臨牀 PSG 數據

    今日宜休創始人王騰公佈公司戰略,計劃以睡眠科學、AI 算法及軟硬件產品研發協同,構建面向個人的睡眠健康 AI 技術體系 ISHO Intelligence。公司聚焦精準監測、科學幹預與精力恢復,計劃一年內採集超 1000 例金標準臨牀 PSG 數據;睡眠產品科研亦由夜間睡眠質量延伸至醒後的日間精力狀態。

  5. InfoQ52

    如何讓人工智能更具環境可持續性

    Charles Humble 主張將可持續性納入計算工作負載的頂層架構考量,並以較小或預訓練模型、低碳地區運算及需求轉移降低 AI 的環境影響。他指出,IT 約佔全球排放量 2–4%,而模型部署及維護可能消耗大部分能源。他亦稱,理論上全程使用可再生能源訓練,可減少 45% 至 99% 的碳排;需求塑形則可按電力碳強度調整工作量或服務品質。

  6. DEV Community29

    MuonGS 為何在 LLM 預訓練中勝過 AdamW 和 Muon

    MuonGS 在 400M dense 和 1B 參數 MoE 架構上,達到相同驗證困惑度的速度比 MuonH 快 15%。它透過 Gram-Schmidt 投影控制權重範數增長,並以原位張量運算執行,無需額外配置 VRAM。此方法適用於具平滑尺度不變性的層;token embeddings 和語言模型輸出頭仍需其他調度器或 AdamW 分支。

  7. DEV Community35

    AI 設計的胜肽候選結果可信嗎?

    AI 模型可生成胜肽候選序列並預測其性質,但預測結果不等於經實驗驗證的生物活性。候選序列的分數須結合其衡量內容、模型評估所用數據及實驗證據理解。2024 年一篇研究指出,部分 AlphaFold 預測與實驗數據吻合,亦有部分即使信心度高仍有差異。

  8. DEV Community62

    Jacobians、Hessians、JVP 與 VJP:從基本原理到反向傳播

    Deepkumar Patel 撰寫教學文章,從基本微分概念講解 Jacobians、Hessians、JVP 與 VJP,並説明它們如何連結至神經網絡的反向傳播。JVP 將輸入方向的變化向前傳遞,VJP 則將輸出敏感度向後傳遞;兩者都無須建立完整 Jacobian。文章亦比較前向模式與反向模式的計算效率和記憶體取捨,並以手算例子及 JAX、PyTorch 説明相關概念。

  9. 阿里雲開發者社區 AI27

    阿里雲瓴羊 Dataphin:從合規到價值挖掘的應用場景分析

    阿里雲瓴羊 Dataphin 以「治理即研發」理念,透過標準、資產、安全及 AI 引擎四大支柱,將治理融入數據建模、開發、運維和消費流程。文章指出,AI 輔助能力可降低70%以上的重複性數據開發工作量,並分析上汽大眾、雅戈爾及洋河股份的應用場景。企業選型可關注治理流程、安全管控、AI 生產力及資產消費入口。

  10. 阿里雲開發者社區 AI46

    縮放定律:為何「更大+更多」會穩定變強

    縮放定律指出,模型損失會隨參數量、數據量和算力按冪律下降,令模型規模與表現的關係變得可預測。Kaplan 2020 主張固定算力下優先增加參數;Chinchilla 2022 則提出參數與訓練 token 按 1:20 同比例增長,追求計算最優。GPT-3 以 1750 億參數展示規模效應,DeepSeek 則以模型側縮放策略和架構效率探索另一條路。

  11. DEV Community26

    突破數據瓶頸:合成數據生成的興起

    AI 業界正轉向合成數據生成,以應對高質素人類數據短缺,並減少真實數據收集涉及的私隱、授權成本和偏見問題。生成式對抗網絡(GAN)、擴散模型及 LLM 輔助模擬可生成仿照真實數據特徵、但不含原始識別資料的數據集。合成數據可用於醫療診斷、自動駕駛模擬及詐騙偵測訓練。

  12. 新浪科技43

    景爍科技獲得數千萬美元 pre-A 輪融資

    景爍科技獲嘉御資本、HKSTP香港科技園、天狼星資本等共同投資,完成數千萬美元 pre-A 輪融資。文遠知行披露,景爍科技致力於構建物理 AI 時代的數據與模型基礎設施,產品體系包括 WorldEngine、GENESIS-Robotics、EGOK、高質量數據集及定製數據服務。本輪融資後,公司將擴充核心研發團隊並推進相關基礎設施建設。

  13. 新浪科技36

    「太空觀測大禮包」風雲三號 H 星、四號 C 星數據產品發布,普通公眾也能領取

    中國氣象局國家衞星氣象中心發布風雲三號 H 星(FY-3H 星)及風雲四號 C 星(FY-4C 星)的數據產品,普通公眾也可使用相關服務。公眾可透過風雲衞星遙感數據服務網及客戶端、「風雲看地球」和「風雲此刻」微信小程序取得產品;相關數據有助提升温室氣體探測、數值天氣預報、環境監測及空間天氣監測預警能力。