跳到正文
11月2日週一
  1. 創業邦59

    算力的盡頭是電力?從第一性原理看 AI 基礎設施

    AI 基礎設施擴張的瓶頸不只在電力供應,而在發電、電網、散熱、儲存、封裝、資本和地方許可等環節的建設速度。文章梳理瓶頸由 GPU 轉向 HBM、CoWoS,再延伸至變壓器、燃氣輪機和並網排隊,並指出效率提升仍伴隨 AI 使用量和訓練算力增長,推高總用電需求。吉瓦級數據中心約兩至三年可建成,但大型變壓器交付最長四年、燃氣輪機交貨超過三年,呈現芯片、機房和電網建設節奏的錯配。

  2. DEV Community41

    ID2Pattern 如何在不令詞彙表爆炸的情況下預訓練支付風險模型的高基數身份欄位

    ID2Pattern 以身份行為模式而非身份值進行預訓練,讓支付風險模型可從交易序列學習,並推廣至推理時首次出現的卡片。框架以 Local Anonymous ID(LAID)編碼身份在序列中的重現模式,再用向量量化從無標籤交易序列預訓練多尺度模式碼本,供風險評分使用,無須為新身份擴大詞彙表或重新訓練。

  3. 阿里雲開發者社區 AI27

    數據治理反覆踩坑:問題不在清洗,而在源端與末端分工顛倒

    數據治理反覆失效,症結在於源端與末端權責不清、整改規則未能迴流,並非單靠末端清洗就能解決。中翰軟件提出雙端治理框架,由源端以標準、技術和行為約束減少髒數據,末端分層校驗、追溯數據血緣,並把整改規則迴流源端。文中指出,單靠數倉末端補救的問題解決率約為 50%,管控前置到業務源頭則可達 95%。

  4. DEV Community56

    產品目錄微調後,模型只學會單一方向的事實

    以產品目錄中的單向句子微調模型,未必能令它從相反方向回答同一事實問題,研究人員將此現象稱為 reversal curse。2023 年由 Lukas Berglund 領導的研究發現,模型在虛構句子的反向提問測試中,表現不優於隨機猜測;文中亦指出,GPT-4 知道 Tom Cruise 母親身份的比例約為 4/5,但給出其母親姓名後,答出她兒子是誰的比例約為 1/3。

  5. DEV Community65

    潛在狀態就是日誌中從未記錄的欄位

    作者以模擬房間示範,未記錄的門開關狀態會令四權重模型失準,而加入一個潛在欄位後,模型可從温度變化捕捉這項隱藏動態。訓練沿每段序列前向計算,再以時間反向傳播更新欄位;在 4,800 次轉移的數據上,模型損失為 0.172,接近門狀態延遲一個步驟才可見時的 0.174 基準。

  6. 阿里雲開發者社區 AI37

    MaxCompute 作為大語言模型訓練數據清洗與 AI 語料處理平台:功能機制與適用條件解析

    MaxCompute 透過存儲接入、計算推理及治理索引三層能力,支援 PB 級離線 AI 語料清洗、多模態解碼、批量向量化及可信樣本交付。使用前提包括符合離線批量處理節奏、依賴 MaxFrame 生態、啟用向量能力,以及具備 GPU 配額和鏡像管理。它定位為語料產線的編排與治理中樞,不替代實時引擎或專用模型服務。

  7. 新浪科技47

    京東×南大提出 Road MOPD,緩解風格與跨領域學習幹擾

    京東零售視覺多模態與 AIGC 團隊聯合南京大學提出 Road MOPD,透過跨教師回饋與梯度投影,減少多教師蒸餾中的跨領域更新衝突。在 Qwen3-4B 上,相較 Vanilla MOPD,數學+醫學及程式碼+醫學兩組高衝突設定均實現雙域共同提升,醫學均分最高提高 8.78 個百分點;數學+程式碼組合亦有提升。

  8. 新浪科技45

    完善知識產權制度機制,促進人工智能產業發展

    人工智能技術演進帶來訓練數據利用、生成內容責任及智能體參與交易等知識產權新問題,制度規則需兼顧創新激勵與權利保護。文章主張按技術環節和利用方式分類制定規則,訓練端適度放寬、生成端從嚴把關,並讓責任配置與各方控制能力相匹配。治理應由結果審查轉向過程治理,建立可追溯、可檢查的具體標準。

  9. 虎嗅43

    未來買數據的未必是人,可能是智能體

    中國人民大學教授楊翰方指出,未來數據需求可能更多來自智能體調用,數據或以服務形式直接創造價值。上海正推動公共數據產品化,平台已有215家數商入駐、接入7716個授權目錄,累計開發175個基礎數據產品。高質量數據集的評價標準、數據產權保護及流通規則仍待完善。

  10. DoNews49

    簡智機器人宣佈完成新一輪1億美元融資

    北京數據與評測基礎設施公司簡智機器人宣佈完成新一輪1億美元融資,約合人民幣6.65億元。本輪由上汽集團、百度集團等產業方,以及光合創投、中信金石投資等財務方共同參與。公司專注於多模態數據採集與治理技術,此前已完成多輪融資。

  11. 第一財經24

    華依科技:將積極拓展智駕核心產品應用邊界

    華依科技表示,將積極拓展智駕核心產品的應用邊界。公司指出,2026年物理 AI 訓練數據採集已成為 IMU 行業的重要新興增量賽道,而高質素真實物理交互數據短缺是制約物理 AI 模型迭代的關鍵瓶頸。其 IMU 產品可輸出連續、無遮擋的運動時序數據,彌補純視覺方案在運動解算上的不足。

  12. 第一財經45

    國家數據局召開座談會,深化高質量數據集建設「以需定供」「以用促建」

    國家數據局近日召開行業高質量數據集建設鏈主工作座談會,提出以需定供、以用促建、以評提質,推動數據集建設。會議要求摸清人工智能用數需求、建立利益分配和商業回報機制、加強應用反饋與產業鏈協同,並推動數據集接入國家數據基礎設施。測評服務將轉向工具化、訂單化模式,以縮短測評週期、降低成本並提升效率和交付能力。

  13. 新浪科技54

    摩爾線程 GPU 支撐無錫(惠山)國產智算中心一期 2000 卡滿載,20 多家客戶排隊進場

    無錫(惠山)國產智算中心一期 2000 卡投入運作僅三個月便滿載,已有 20 多家客戶在平台測試或開展正式業務。摩爾線程、無錫市惠山招商集團與新石器慧通簽署戰略合作協議,新石器將以摩爾線程全功能 GPU 擴大自動駕駛模型訓練,需求規模接近萬卡級。平台訓練業務佔比超過 62%。

  14. Sakana AI:Blog44

    Sakana AI 研討會報告:Jürgen Schmidhuber 談 AI 的過去與未來,以及日本挑戰語言模型、世界模型與 Physical AI

    Sakana AI 宣佈開始自行開發預訓練模型,並計劃讓語言模型與世界模型協作,透過 AI 科學家的自我改進循環提升模型。首席科學家秋葉拓哉公佈語言模型系列「Sakana Sawara(暫稱)」。首個小型模型「Sawara Small(暫稱)」如進展順利,預計於2027年春季公開。

  15. DEV Community27

    極端數據稀疏情境下行星地質勘測任務的自監督時間模式挖掘

    面向火星、木衞二及月球等行星地質勘測任務的極端稀疏觀測,文章構建並測試自監督時間模式挖掘流程,以處理不規則、缺乏標註的時序資料。流程採用偏向較大時間間隔的遮罩策略,在合成稀疏基準測試中令下游邊界檢測召回率提升約 18%,並結合時間對比損失與預測編碼。

  16. Hacker News 熱門(buzzing.cc 中文翻譯)51

    利用 JEPAs 證明並改進柏拉圖表徵假説

    研究提出柏拉圖表徵定理:若正樣本配對是同一場景的不同觀測,且其他情況下錯位有界,分開訓練的多模態 JEPA 可學得僅相差一次旋轉的相同表徵。研究以 145k 條圖片説明及 940M 張網頁圖片的文本驗證理論,並發現良好視角達到同等對齊所需樣本比下一 token 預測少 42 倍。

  17. HuggingFace Daily Papers(社區熱門論文)38

    DepthGraft:透過階層式跨層 KV 重建進行結構正則化

    DepthGraft 以階層式 KV 共享架構,從較淺及中間層重建深層 KV,改善深層語言模型訓練,同時減少 KV 快取用量約三分之一。研究在參數規模由 0.5B 至 16B 的 dense 及 MoE 模型上,於 GQA 和 MLA 下均取得下游表現提升;在 16B MoE 模型上,MMLU-Pro 絕對提升 7.0%,CMMLU 提升 6.6%,C3 提升 6.4%。

  18. DEV Community24

    探索用於分類的邏輯迴歸

    邏輯迴歸透過 sigmoid 函數將輸出轉換為概率,再映射至離散類別,可用於二元及多類別分類。文章説明二元、多項及序數邏輯迴歸,並概述其優缺點,以及 L1、L2 和 Elastic Net 正則化如何影響模型係數與過度擬合。

  19. 新浪科技28

    NASA 研發面向月球極端環境的固態電池

    NASA 正在研發面向月球南極探測任務的 SPEARS 固態電池,以提升電池對極端温度和真空環境的適應能力。小型原型電池在 80℃至-60℃範圍內正常工作,在-80℃仍可運行;經歷 100℃至-170℃的温度極值後沒有受損,經小型加熱器恢復至工作温度後可重新運行。

11月1日週日
  1. DEV Community50

    為甚麼接近終點時要放慢學習率?

    學習率排程會在訓練初期採用較大的步長,接近低點時逐步縮小,以減少噪聲造成的反彈。示例中,每 10 步將 0.45 減半的排程,60 步後與低點相距 0.07;在 2,000 組噪聲序列中,最後 10 步平均距離為 0.09,優於固定大步長的 0.49 和小步長的 1.31。文章亦示範如何在 PyTorch 使用 StepLR。

  2. The Guardian Technology63

    藝術家 Sally Scales 指 AI 挪用澳洲原住民藝術,製造「Temu 劣質作品」

    Pitjantjatjara 藝術家 Sally Scales 指,AI 正挪用澳洲原住民藝術並製造「Temu 劣質作品」,削弱藝術家的自主權及作品真實性。澳洲視覺藝術界團體稱,作品遭 AI 改動、移除作者姓名後出售,造成文化及經濟傷害;Temu、Shein 和 Amazon 上亦有無署名的原住民風格商品。

  3. DEV Community56

    Adam 如何為每個參數調整步長?

    Adam 會按每個參數梯度的歷史幅度調整更新步長,避免所有參數共用同一設定時,陡峭方向更新過大、平坦方向進展緩慢。它結合動量與梯度平方的移動平均,並以偏差修正後的平均梯度除以平方根平均平方梯度來計算更新。文中兩個梯度相差 50 倍的參數首步都移動 0.1;在原始、陡 100 倍及平 100 倍的曲線上,Adam 均在 71 步時進入距離底部 0.05 的範圍。

  4. DEV Community58

    LLM 訓練如何運作:汽車工廠類比解説

    文章以汽車工廠類比説明 LLM 因果語言模型的訓練流程,涵蓋下一 token 預測、交叉熵損失、反向傳播與優化器更新。文中以只有兩個候選 token 的 Python 範例演示一次參數更新,並指出訓練損失下降本身不足以證明模型能泛化或提升實際回答品質。

  5. 新浪科技64

    工信部賽迪研究院報告:中國人工智能推理數據量首超訓練數據量,截至 2026 年 6 月日均 token 調用量超 175 萬億

    賽迪研究院發布的《新域新質創新發展十大趨勢》指出,中國人工智能推理數據量首次超過訓練數據量,並將此視為人工智能進入規模化產業應用階段的標誌。截至 2026 年 6 月,日均 token 調用量超過 175 萬億,較 2024 年初增長 1000 多倍;頂尖大模型迭代週期由數月縮短至數週甚至數天。

  6. DEV Community34

    受控基準測試釐清語言模型資料歸因方法的失效原因

    這項研究探討語言模型資料歸因方法失效的原因,指出現有評測往往同時改變多項數據集屬性。研究提出 CATT 受控事實追蹤基準,透過完全虛構的知識進行微調,並設定明確的真實答案。此類受控合成基準可用於評估研究進展,再進一步檢視真實且受多種因素幹擾的訓練數據。