跳到正文
11月7日週六
  1. 阿里雲開發者社區 AI62

    從 Transformer 到 LLM 全景圖:參數、訓練三階段、推理兩階段、能力邊界

    這套 34 講大模型課程的第 6 講,系統梳理 LLM 的參數規模、訓練流程、推理階段及能力邊界。文中以 Kimi K3 為例,列出 2.78T 總參數及約 104B 每 token 激活參數,並説明 MoE 的激活參數與整體顯存需求不同。內容亦比較開源權重自託管與閉源 API 的選擇條件,並整理模型在幻覺、長上下文、多步推理及現實操作方面的限制。

  2. DEV Community43

    AI 前應檢查甚麼:企業流程審計指南

    企業在使用 AI 前應先審計業務流程,確認時間、資源和客戶旅程等數據是否已收集,因為 AI 無法還原未記錄的事件。盤點試算表、CRM、日曆、訊息和工作系統中的現有記錄,並確認能否連結。連接服務前,須檢查資料存取權限及分享客戶訊息和通話的權利。

  3. Unite.AI50

    MIT 詳述 CheMeleon 如何以低數據量預測分子性質

    MIT 與 BASF 研究人員開發開源分子基礎模型 CheMeleon,透過預訓練學習化學關係,再以少量特定任務數據微調,預測分子性質。模型約有 10 million 個參數,在 58 個基準數據集的統計比較中勝過傳統基準模型及現有基礎模型。CheMeleon 可透過 ChemProp 下載及微調,但仍須實驗確認候選分子的實際性質。

  4. DEV Community57

    LinkDigest 新增影片時間戳標註,支援單次 API 呼叫及 JSON/JSONL

    LinkDigest 新增影片時間戳標註格式,單次 API 呼叫可為每段影片輸出 JSON,批次處理則匯出為每行一段影片的 JSONL。輸出涵蓋語音、影格描述、畫面文字、章節和關鍵要點,coverage 會標示已讀取及未讀取的部分;上載影片每 10 分鐘收取 11 credits,每小時影片共 66 credits,按 credits 購買方式摺合 $0.92 至 $1.32。

  5. DEV Community64

    osFoundry Local Model 使用指南:從挑選開源模型到本機微調

    osFoundry 的 Local Model 在桌面 App 內整合開放權重模型的探索、裝置端推論、量化、微調及評測流程。指南以個人筆電、小團隊共用桌機及營運主管三種情境,示範模型比較、速度基準測試、自訂資料集評測和 LoRA 訓練;本機推論、量化及本機訓練在電腦執行,Providers 和 Cloud GPU 則會使用外部服務。

  6. MIT News53

    CheMeleon 如何以少量數據預測分子性質

    MIT 團隊開發的 CheMeleon 預訓練模型,在目標分子性質數據有限時,篩選候選分子的表現優於其他現有方法。模型以 PubChem 中 100 萬種分子的數據及約 1,600 項分子描述符預訓練,並可按特定任務微調;研究在 58 個測試案例中將其與其他基礎模型及專家設計的傳統模型比較,CheMeleon 表現居首。這個開源模型可透過 ChemProp 下載和微調。

  7. DEV Community60

    Modal 如何計算訓練與微調費用?

    Modal 按秒計算訓練費用,合計 GPU、CPU 核心及記憶體費用,指定區域時再乘以 1.15x 或 1.75x。案例中,Modal 的 1 張 H100 執行 8 小時費用為 $38.70,8 張 B200 執行 12 小時為 $685.28;按 Nodus 列示機器時價計算則分別為 $20.80 和 $528.00,另有啟動與拆卸時段費用。

  8. HuggingFace Daily Papers(社區熱門論文)35

    Horizon-Scalable Q-Learning:自動平衡單步與多步回報的離線價值學習方法

    Horizon-Scalable Q-Learning(HQL)提出一種方法,透過自動平衡單步與多步回報,提升長時程離線價值學習的準確度。只有當評論家對數據集動作的評分不低於行為克隆策略所抽取 N 個動作中的最高評分時,HQL 才延伸目標;否則退回單步目標,且無需動作密度。

  9. HuggingFace Daily Papers(社區熱門論文)37

    ConceptTime:以預測驚奇構建可解釋時間序列分類器

    ConceptTime 以凍結的機率預測器產生的預測驚奇切分時間序列,將片段聚類為動態概念,再按概念序列分類,並在證據不足時棄權。在 17 個公開基準上,它的準確度與黑盒最先進方法相若,勝過所有可解釋基準;在 Epilepsy 上僅用 1% 標籤仍維持接近 98% 準確度。整個方法無需標註、語言模型呼叫或領域專家。

  10. HuggingFace Daily Papers(社區熱門論文)46

    刪除權重在 LLM 後訓練中的驚人效果

    Deletion Tuning 在 LLM 後訓練中只將少於 0.05% 的權重歸零,便在可驗證獎勵強化學習、監督式微調及 on-policy 蒸餾三種設定下,達到與全量微調(FFT)相當的效果。其二元遮罩比相應 FFT checkpoint 小數百至數千倍,遺忘程度亦較低。強化學習中,其先前任務準確率維持接近基礎模型;FFT、LoRA 及隨機稀疏微調則最多下降 5.4 個百分點。

11月6日週五
  1. HuggingFace Daily Papers(社區熱門論文)47

    Muir:以敏感度分配閘控與匹配濾波讀出的線性注意力

    Muir 以敏感度分配閘控、匹配濾波讀出及穩定並行更新,改善線性注意力的語言建模、長上下文召回和訓練速度。在 166M-1.34B 規模下,其 perplexity 較 GDN-2 低 1.8-2.0%、較 Transformer 低 2.5-3.6%;1.34B 版本可由 4K 訓練長度外推至 10M-token streams,32K 訓練較 Transformer 快 2.7x。

  2. TNW53

    Physicl 融得 $10M 種子資金,為實體 AI 製作訓練數據

    巴黎初創公司 Physicl 融得 $10M 種子資金,開發為實體 AI 系統製作訓練數據的平台。Inovia Capital 領投,U.S. Venture Partners 亦有參與;其產品 Studio 讓研究人員在 3D 場景中重建模型失誤情境,生成針對性訓練數據。據公司表示,客戶 SpAItial 把 Physicl 的數據加入訓練集後,其房間建構模型的錯誤率降低逾半。

  3. DEV Community63

    osFoundry Local Model 如何運作:從選擇開放權重模型到在本機訓練

    osFoundry 的 Local Model 在桌面應用程式中整合開放權重模型的探索、安裝、推理、量化、微調及評估,並支援在本機硬件上運行。Explore 會按設備記憶體估算模型是否適用;文章亦示範以自訂數據集進行 LoRA 訓練,並用 Eval 評估回答質素、以 Benchmarks 測量速度及延遲。

  4. DEV Community67

    作者實測 weight-space programming 在 6 類模型上的適用範圍與侷限

    作者在 6 類模型測試 weight-space programming,發現它能修補傳統及小型模型,但 LLM 的自行編輯未能穩定維持。無標籤降雨預測的手寫模型 AUC 為 0.809,低於以 2.5 年標註資料訓練的 XGBoost(0.839),但高於以 60 日資料訓練的模型(0.747);新詐騙模式加入 23 個權重的規則區塊後,捕捉率由 10% 升至 98%。

  5. DEV Community51

    在策略蒸餾挑戰 GRPO,DPO 對齊代價也呈現任務差異

    這篇每週研究與工程摘要指出,當已有強模型檢查點可供蒸餾時,一項比較中在策略蒸餾以約 50x 較少蒸餾 FLOPs 達到與 GRPO 相同的準確度。另一項研究發現,已有 1,200 個高質素示範時,60 步 GRPO 未帶來可檢測的同分佈增益。DPO 研究則發現,在特定獎勵邊際區間內,抽取任務維持原有表現,路由任務表現下降約 30 分。

  6. 虎嗅55

    歐洲AI算力佔全球不足5%,電力、數據控制、監管與資金問題拖慢發展

    歐洲AI發展受電力接入、產業斷層、監管負擔和資金不足等結構問題牽制,AI算力佔全球不足5%。法蘭克福、巴黎、都柏林等數據中心樞紐的電網接入排隊普遍需7至10年;歐洲目前只產出3個基礎AI模型,美國有40個,中國有15個。歐洲企業大量租用美國雲廠商算力,工業數據與人才優勢未能充分轉化為本土AI競爭力。

  7. MIT Technology Review · AI54

    我看着 Tau Robotics 人形機械人清潔公寓,彷彿一窺未來

    Grace Huckins 試用 Tau Robotics 在三藩市提供的人形機械人清潔服務,機械人目前仍需人員遙距操控及支援,並透過清潔任務收集訓練數據。第二次清潔時,機械人完成了廚房和馬桶清潔,但爬樓梯不穩,過程中亦有失誤;吸塵和拖地等部分任務則已可在沒有人手協助下完成。Tau 希望利用收集到的數據訓練自主清潔機械人,並開始考慮日後將它們用於除黴和家居護理等工作。

  8. 雷鋒網44

    上交大張偉楠教授:AI 如何走出螢幕,真正改變物理世界?| CNCC 2026

    張偉楠在 CNCC 2026 演講探討物理智能如何讓 AI 走出螢幕,透過感知、預測、行動與持續學習,形成與真實環境互動的閉環。他梳理了涵蓋硬件與系統、數據與仿真、感知、世界模型、基礎模型、物理智能體及應用層的七層技術棧,並指出真實交互數據昂貴、環境局部可觀測及長時程預測誤差累積等挑戰。

  9. DEV Community42

    機械臂以每杯 14 元製作《蒙娜麗莎》拉花

    一名身份不明的操作者以機械臂製作《蒙娜麗莎》拉花咖啡,每杯售價 14 元。機械臂自行完成六個步驟;拉花失敗時由人手修正,成功及修正軌跡可用作訓練數據。演示未提供產能、運行時間或可靠性數據,單次操作只能證明這項任務可行,不能證明大規模營運的單位經濟效益。

  10. 阿里雲開發者社區 AI32

    避坑與最佳實踐:一文講透企業如何建設數據系統

    企業建設數據系統應先統一指標口徑、把數據治理融入研發流程,並以跨部門機制和持續運營保障平台真正投入使用。阿里雲瓴羊Dataphin以“OneData”和“治理即研發”為核心,整合數據集成、開發建模、智能治理與資產運營,並將大模型能力用於生成SQL、診斷異常任務。雅戈爾整合16個系統至1個平台,上汽大眾梳理超過1萬個數據對象。

  11. 阿里雲開發者社區 AI33

    數據治理工具選型:關鍵看這5項核心能力

    評估數據治理工具,關鍵不在功能清單長短,而在治理能否貫穿研發、元數據、數據質素、口徑管理與資產消費鏈路。文章以阿里雲瓴羊 Dataphin 為例,提出五項評估能力:治理前移至研發、元數據與血緣同步生產、質量監控追查根因、口徑以工程方式約束,以及讓業務人員直接使用數據資產。2026版的 Data Agent 深入融入多個治理場景。

  12. DEV Community43

    商品評論與口碑分析:如何抓取商品詳情頁評價並進行情感分析與質素評估

    文章示範以 Python 建立商品評價分析流程,涵蓋抓取、清洗去重、情感分析、質素評估與結果視覺化。抓取可優先使用評價 JSON 接口,或在需要時以 Playwright 載入頁面;情感分析可先用 SnowNLP,也可微調中文 BERT。評估會按做工、外觀、物流、性價比及售後等維度統計提及率與情感分,並計算綜合口碑分。

  13. HuggingFace Daily Papers(社區熱門論文)35

    SLA:透過持續預訓練擴展空間-語言-動作模型

    SLA 將空間對齊擴展至持續預訓練及下游後訓練,並以預訓練 pi05 policy 為起點,對齊視覺嵌入與凍結的 3D 感知模型所提供的空間表示。模型運用多元機械人數據、特徵依賴閘門及概率狀態 dropout 改善空間理解;輔助組件只在訓練期間使用,推理架構維持不變。

  14. 虎嗅61

    百萬小時規模背後,機械人訓練數據生意重新分工

    機械人訓練數據產業快速擴張之際,供應商在採集、加工及交付鏈條上的分工與收益正出現分化,買家則高度集中。文章指出,買家需求由大批量通用第一人稱數據轉向指定場景、指定任務及更細緻的交付標準,驗收不確定與加工成本令供應商承受壓力。部分模型公司亦在建立自有數據生產體系,掌握任務定義、數據標準和訓練反饋,改變第三方供應商的競爭位置。