跳到正文
11月8日週日
  1. DEV Community45

    理解本地 AI(2):模型與權重

    本地 AI 模型可在手提電腦離線運行,裝置取得的是訓練完成後的權重,而非訓練過程本身。量化可減少權重佔用空間:20 billion 個權重以 16 bits、8 bits 和 4 bits 儲存,分別約佔 40 GB、20 GB 和 10 GB。蒸餾可由大型模型協助訓練較小模型,但要在裝置上實用,仍須兼顧記憶體、速度、軟件支援和回答質素。

  2. 第一財經38

    走出外包式合作,AI開始融入創新藥企研發核心

    創新藥企正由項目制外包合作轉向系統性佈局 AI 研發基礎設施,將模型、數據與核心技術整合至統一研發體系。MegaStream由項目制合作升級為合資公司,統籌模型開發、數據使用、實驗驗證與候選藥物推進。這類佈局旨在打通計算模擬與自動化實驗驗證,將 AI 的價值延伸至 PCC 至 IND 階段。

  3. IT之家55

    特斯拉更新 AI 加速器路線圖:SI6 算力達 HW4 的 80 倍,Dojo D3 將面向太空部署

    特斯拉更新 AI 加速器路線圖,SI6 預計算力達 HW4 的 80 倍,Dojo D3 則採多芯粒架構及堆疊式 HBM,並針對太空部署、訓練與擴展能力優化。SI6 算力估算為 17.28~46.08 POPS,記憶體容量預計為 144GB,推出時間預計為 2029 至 2030 年。D3 的具體算力、記憶體容量、製程工藝及研發時間表尚未公佈。

  4. DEV Community59

    VIDRAFT 公開發佈 Darwin-180B-RSI-R3 權重

    VIDRAFT 公開發佈 Darwin-180B-RSI-R3 的權重;這款 180B 參數 MoE 模型經三輪遞歸自我改進,主打數學與科學推理。據 VIDRAFT 公開模型卡,其在 SuperCLUE 2026 年 11 月評測得分 73.68,排名開放權重模型第一、總排名第二;基礎模型得分為 57.89。其五領域綜合指數為 43.08、總排名第九,材料指出長上下文處理和指令遵循是相對弱項。

  5. 阿里雲開發者社區 AI56

    大模型 Scaling Laws:如何按算力預算配置模型參數與訓練數據?

    這篇大模型課程第 7 課講解如何按算力預算配置模型參數與訓練數據,並以 C≈6ND 推導 Chinchilla 的 20:1 token/參數比例。文章指出,模型過訓練可用較小參數量降低長期推理成本,但會增加數據需求;MoE 減少每 token 激活參數,不能消除按總參數量計算的數據需求。

  6. DEV Community49

    投資預測性維護前,先檢查機器數據管道是否故障

    中小型製造商投資預測性維護前,應先確認設備數據管道已接通,並具備連續訊號及準確的故障記錄。美國能源部指,與預防性維護相比,預測性維護可節省 8% 至 12% 的總擁有成本;若比較對象是故障後才維修,則可節省 30% 至 40%。McKinsey 研究指出,10% 的誤報率可完全抵銷預期經濟收益。

  7. DEV Community40

    行星地質勘測任務的元學習最佳化持續適應:面向低功耗自主部署

    文章探討如何以元學習最佳化持續適應,讓行星地質勘測智能體在低功耗自主部署時按新地形快速調整模型。作者以 FOMAML 作為基線,將適應預算設為每個 sol 5 次梯度步、2W,並指出火星往返訊號延遲為 4 至 24 分鐘。文章亦探討以 EWC 減少模型適應新地形時遺忘舊知識的風險。

  8. DEV Community28

    建立可即時偵測抑鬱症的 AI 聊天機械人:實作指南

    這份實作指南説明如何建立可即時偵測抑鬱症風險的 AI 聊天機械人,並整合 GPT-4.5、分類器及穿戴式裝置數據。示例分類器的準確率約為 0.87,抑鬱症召回率約為 0.84;風險偏高時,聊天機械人可建議用戶尋求心理專業人士協助。指南亦列出明確同意、加密及日誌匿名化等私隱措施,並指出聊天機械人不能取代心理學家。

  9. 虎嗅68

    馬斯克超30億元政治豪賭失算,商業價值暴跌

    馬斯克在美國中期選舉週期公開捐款約4.74億美元,民主黨勝選後其政治影響力受挫。其中約2.16億美元流向他創辦的「美國政治行動委員會」,約1.68億美元捐予支持共和黨參議員候選人的「參議院領導基金」。選後當地時間11月5日,特斯拉股價下跌逾11%;文章認為,政府合約、數據中心擴建及許可等政策風險或會牽動其多項業務。

  10. DEV Community42

    蒸餾位元組編碼器實際讀取的八個概率

    研究追蹤神經位元組預測器進入算術編碼器後的實際數據路徑,指出編碼器對每個目標位元組只讀取八個條件概率,並據此建立最多九組的觀測證明。3,934 個目標的測試中,路徑組 KL 為 0.402047 nats,完整 KL 為 0.580288 nats,其中 30.716% 來自未訪問的兄弟節點。文章區分用於衡量觀測差異的組別 KL,與按實際位元訪問計算的學習目標 U。

  11. HuggingFace Daily Papers(社區熱門論文)50

    On-Policy Distillation 可容忍多少訓練與推理不匹配?

    On-policy distillation(OPD)可容忍量化推理及非同步 rollout 帶來的大幅訓練與推理不匹配,但耐受程度因模型和層而異,失配過高則會降低訓練品質。研究提出輕量級准入檢查,並提供特定模型的 FP8 配方;與同步 BF16 訓練相比,結合非同步 rollout 的 FP8 訓練可快 1.62 倍達到相同品質。

  12. HuggingFace Daily Papers(社區熱門論文)30

    PROLA:用於預測式時空天氣降尺度的主方向正交低秩適配

    PROLA 提出一種低秩適配方法,將固定的低秩預算分配至預訓練權重的主方向及其正交補空間,並按梯度訊號重新縮放秩 1 優化器更新。研究以共享的預訓練骨幹網絡和空間、時間兩階段框架,預測未來高解像度天氣軌跡;實驗顯示,PROLA 優於具代表性的低秩適配基線,並在其他數據集及任務中展現更廣泛的適用性。

  13. HuggingFace Daily Papers(社區熱門論文)45

    One Table, Many Queries:通用表格模型在生成、補值與預測任務上的基準評測

    One Table Benchmark以56個數據集、46種已註冊方法及20項能力軸,對齊評測表格模型的生成、補值與預測能力。結果顯示三項任務共享有用的條件資訊,但分佈保真度排名各異;納入任務自身目標帶來最大的整體增益,跨目標效益則會互相影響。通用模型在效用上可勝過專項模型組合,但保真度仍以專項模型較佳。

  14. DEV Community55

    瀏覽器如何透過 WebGL 訓練神經網絡:張量作為紋理、運算作為着色器

    WebGL 將張量映射為 GPU 紋理,並以片段着色器執行運算,讓瀏覽器可在 GPU 上訓練神經網絡。訓練步驟之間,資料留在 GPU,只有損失值等少量資料傳回 JavaScript;但 WebGL 有資料讀回慢、紋理記憶體管理及背景分頁節流等限制,較適合小至中型模型的學習、原型和視覺化。

11月7日週六
  1. 虎嗅70

    清華團隊星衍算法在韋布 JADES 深場找到162個早期星系候選體

    清華團隊研發的星衍(ASTERIS)算法處理韋布望遠鏡 JADES 深場數據,找到162個早期星系候選體,較傳統方法找到的約50個為多。其中75%此前未被報告;在90%完備度下,算法將探測極限提升約1.0個星等,在90%純度下則提升超過1.5個星等。這套開源算法不要求升級硬件或佔用觀測時間,亦可用於地面及空間望遠鏡。

  2. DEV Community49

    Vision 模型訓練前的三步數據質素檢查

    訓練 Vision 模型前,先完成三步數據質素檢查,檢視影像解像度與幾何特徵、標註準確度,以及類別分佈和長尾覆蓋。文章建議抽查分層抽樣的 5% 數據,並以 Cohen's Kappa 和 mean IoU 評估標註一致性;mean IoU 低於 0.75,代表標註指引含糊,需要澄清。類別失衡比例超過 50:1 時,應採取補救措施。

  3. DEV Community53

    數據管道追求吞吐量,AI 訓練需要確定性

    AI 訓練對數據順序敏感,因此可靠的數據管道須確保相同來源數據及設定產生相同記錄集合,並在順序具語義時保持一致。近似重複檢測若按先到先留,重試和並行讀取可能改變保留的記錄,而行數、結構描述及彙總統計校驗未必能察覺。文章建議去重前按內容雜湊、來源時間戳等穩定鍵排序;Kafka 只保證分區內順序,不能視為全局順序。

  4. DEV Community54

    Ninaivu 的 Hindsight 記憶實驗如何被靜默回退污染

    Ninaivu 的 Hindsight 記憶實驗中,語言模型請求連續失敗兩次後會靜默改用隨機設定,令早期比較結果受到污染。追查時出現 429 限流錯誤,免費方案每日 token 限額接近用盡;作者認為這可能是早前回退的原因,但沒有當時記錄可證實,團隊其後讓限流錯誤中止執行並改用較小模型重跑,所有回退欄位均為 0。

  5. DEV Community34

    追蹤神經壓縮器省下的 221 B

    一項神經校正實驗令位元組壓縮器的 1 MiB 樣本縮小 221 B,並追蹤預測改善如何轉化為實際編碼節省。實驗選定 epoch 2、step 159 的權重,兩份權重檔的成本增加 92 B。8 MiB 樣本共節省 697 B,但成熟區間只節省 98 B,低於所需的 1,692 B,因此停止在完整串流上繼續投入。

  6. 創業邦58

    智元以機器人場景部署和數據採集推進商業化落地

    智元正把機器人部署到便利店、長隆等商業場景,並透過覓蜂派擴大具身智能數據採集,以推進商業化落地。智元已採集近百萬小時數據用於預訓練,據公司稱,覓蜂派上線一個多月,註冊用戶超過15萬。文章指出,設備、招募和場景拓展成本,以及平台與採集員之間的利益矛盾,令數據採集業務的規模化和經濟性面臨考驗。

  7. 新浪科技63

    Apple 研究團隊披露 HALO 人形機械人系統,6 個未建圖環境完成 360 次單項任務,平均成功率 91%

    Apple 研究團隊披露人形機械人自主控制系統 HALO,並在 6 個未預先掃描或建圖的真實環境完成 360 次單項任務,平均成功率為 91%。系統採三層架構,任務編排預設使用 Qwen3.6-35B-A3B,動作生成使用 Qwen3.5-2B;研究團隊亦公開數據生成、模型訓練及部署程式碼。

  8. 虎嗅62

    磁帶在 AI 時代重獲增長,富士膠片計劃將數據儲存磁帶產能提升至五倍

    富士膠片於10月29日宣佈投資約100億日圓(約合人民幣4.22億元),計劃在2026至2028財年擴建工廠,將數據儲存磁帶產能提升至2025財年的五倍。生成式 AI 帶來的海量數據歸檔需求,令磁帶的低成本、低能耗及離線保存優勢重新受到重視。磁帶不適合頻繁存取,企業亦須處理保留舊設備或遷移歷史數據等相容性成本。

  9. 創業邦54

    具身數據採集報價跌至每小時20元,誰能賺到真金白銀?

    具身智能數據採集供給快速擴張,部分無本體數據報價跌至每小時20元,市場由數據稀缺轉向價格競爭與訂單壓力。真機遙操作數據報價仍為每小時500—1000元,EGO與UMI的實際成交價則為每小時30—150元;文章指出,競爭重心正由採集規模轉向標準化數據產品、真實場景適配與閉環運營能力。