跳到正文
11月1日週日
  1. DEV Community34

    受控基準測試釐清語言模型資料歸因方法的失效原因

    這項研究探討語言模型資料歸因方法失效的原因,指出現有評測往往同時改變多項數據集屬性。研究提出 CATT 受控事實追蹤基準,透過完全虛構的知識進行微調,並設定明確的真實答案。此類受控合成基準可用於評估研究進展,再進一步檢視真實且受多種因素幹擾的訓練數據。

  2. DEV Community54

    Revenant 評估 npm 套件沉寂風險,TabPFN-3.5 回測 ROC AUC 為 0.8893

    Revenant 使用 TabPFN-3.5 根據 npm 套件發佈歷史評估沉寂風險,在 1,141 個測試樣本上取得 0.8893 ROC AUC。回測以 3,803 個套件的 2024 年發佈紀錄作標籤,TabPFN-3.5 的 ROC AUC 高於邏輯迴歸的 0.8380,但兩者在工具實際使用的 top 10% 指標上相近,分別為 2.244 和 2.200 倍基準率。

  3. DEV Community34

    我獨自用 Python 建成涵蓋 170 年加勒比海颶風的觀測平台

    作者獨自以 Python 開發開源氣候風險觀測平台 CaribScope,整理 1851–2022 年的大西洋颶風路徑,並整合即時地震資料、海面温度趨勢及 Random Forest 颶風等級分類器。平台以 16 個 Streamlit 頁面呈現,並以 Docker 部署在單一 VPS;分類器用於參照歷史風暴特徵,不是物理預報模型,亦不能取代 NOAA 的業務預報。

  4. 新浪科技50

    混合架構用線性注意力還是滑窗注意力?復旦創智 OpenMOSS 團隊:我全都要

    復旦創智邱錫鵬團隊比較長上下文混合架構,發現滑窗注意力與線性注意力各有優勢:前者較擅長長度外推,後者在長文續訓中的擬合能力較強。團隊提出滑窗線性注意力(SWLA),令 GLA-NoPE、GDN-NoPE 模型在 RULER 的 NIAH-SK1 任務中由 4k 外推至 64k,達到 16 倍免訓練外推並保持 100% 準確率。研究指出,混合架構的優勢來自不同注意力模組的互補。

  5. DEV Community42

    數據之牆:為何合成數據只能爭取時間,卻無法提升準確度

    高質素人類文本供應有限,合成數據可暫時填補模型訓練缺口,但過量使用會導致模型崩潰,令推理能力和事實回憶能力下降。研究顯示,合成數據佔約五分之一至三分之一有助提升表現,超過一半則開始侵蝕模型能力。訓練應以真實數據為基礎,並用獨立驗證器篩選合成數據。

  6. 第一財經35

    上海儀電攜多項行動成果亮相2026全球數商大會主論壇

    上海儀電參與發起的「推動上海數據要素創新協同發展聯合行動」正式啟動,集中發布涵蓋五個方向的行動。旗下「一問用數」需求徵集智能體已於大會期間開放試用,可智能匹配公共數據目錄與數據產品。「智愛賽思」發布首批11項高質量標杆數據集,其社區要素庫已上線超3000項AI for Science資源,其中包括61項數據集。

  7. DEV Community52

    mini-batch SGD 為何每次只用少量訓練樣本?

    mini-batch SGD 以隨機小批次估算完整梯度,讓每一步只需處理部分樣本;估計雖帶有噪聲,但平均而言等於真實梯度。批次大小為 B 時,噪聲約按 σ/√B 縮減;在 PyTorch 中,60,000 張 MNIST 訓練圖像以 batch_size 64 載入,每個 epoch 有 938 次迭代,最後一批有 32 張。

  8. DEV Community59

    學習率如何決定模型訓練的收斂速度與穩定性

    文章以二次損失説明,學習率決定梯度下降每一步的幅度,過小令訓練收斂緩慢,過大則會令誤差發散。對曲率為 λ 的二次損失,穩定條件是 0 < η < 2/λ,η = 1/λ 時一步到達最低點;在多個方向上,最陡方向會限制可用學習率。實作上可檢查有 C 個類別的 softmax 初始損失是否約為 ln C,再以相差 10 倍的學習率各跑約 100 次迭代,選擇令損失快速下降而不發散的設定。

  9. DEV Community58

    梯度下降如何沿損失曲面找到最低點?

    文章以損失曲面示範梯度下降如何沿負梯度更新權重,逐步降低神經網絡的損失。例中學習率為 0.1 時,損失由 21 降至 20 步後的 0.001;學習率過小會令下降緩慢,過大則可能越過谷底並令損失上升。文章亦示範用 PyTorch 的 torch.func.grad 計算梯度,並建議試用 0.1、0.01、0.001 和 0.0001,比較前一百步的損失變化。

  10. DEV Community39

    神經網絡如何衡量預測錯誤?

    損失函數把神經網絡的預測誤差轉成單一數值,訓練則逐步調整權重以降低損失。平方損失將誤差平方,3、2、1 的總損失為 14,平均平方誤差約 4.7;絕對損失相加得 6,平均絕對誤差為 2。新增誤差為 5 的離羣點,會令平方損失由 14 升至 39,絕對損失則由 6 升至 11,因此平方損失對大誤差更敏感。

  11. DEV Community37

    TensorFlow 解説:由張量到訓練的機器學習

    TensorFlow 是 Google 於 2015 年推出的機器學習程式庫,以張量表示數據,提供建立、訓練及部署模型的工具。Keras 高階 API 可用於組合模型層,TensorFlow 亦支援即時執行及按需要編譯成計算圖。TensorFlow Lite、TensorFlow.js 及伺服工具可將訓練完成的模型部署到手機、瀏覽器及生產環境。

  12. DEV Community44

    Qwen2.5-1.5B 的 450-token 上限截斷逾三分之一回覆:重跑 20 組舊配對揭示結果

    作者以 1,024-token 上限重跑 Qwen2.5-1.5B 的首 20 組配對,發現原先被 450-token 上限截斷的 13 條回覆中,有 8 條這次完成,另有 5 條仍未完成。完成回覆中,8 條獲補回的回覆有 4/24 個引文改動學生原話,雙次均完成的回覆則有 11/141;作者指出數據不足以構成結論。

  13. DEV Community26

    機器學習解説:電腦如何從數據中學習

    機器學習讓電腦系統從示例中學習模式,並以訓練所得模型預測未見過的案例。常見類型包括監督式、非監督式及強化學習;可靠的流程涵蓋定義問題、準備數據、訓練基線模型、評估、部署和監察。評估時須避免數據洩漏、過度擬合及偏差數據,並按問題選擇合適指標。

10月31日週六
  1. Unite.AI37

    書評:Stephen Witt《The Thinking Machine: Jensen Huang, NVIDIA, and the World’s Most Coveted Microchip》重述 AI 革命的運算根基

    Stephen Witt 在《The Thinking Machine》中以 Jensen Huang 和 NVIDIA 為主線,指出現代 AI 的發展不只源於巧妙構想,也依賴運算方式的根本轉變。書中追溯 NVIDIA 如何由遊戲圖像晶片轉向平行運算,並透過 CUDA 讓 GPU 可用於圖像以外的通用運算;黃仁勳對平台、軟件及開發者支援的長期投入,也是這段歷程的重要部分。

  2. DEV Community46

    嘗試用擴散模型取代 CFD:查表法勝出,並助方法奏效

    作者嘗試以受 Navier-Stokes 方程約束的擴散模型取代 CFD,為 2-D 翼型進行設計,但在首輪測試中,擴散模型不及查表法。改用查表搭配「檢索→微調→驗證」後,命中率達 83% / 97% / 99%,高於查表法的 75% / 91% / 98%;關鍵是利用已儲存的求解器結果判斷候選翼型。測試網格點之間的條件時,擴散模型仍落後於直接以代理模型微調。

  3. DEV Community40

    Arabic-First AI:為何方言、數據集與部署都重要

    以阿拉伯語為先的 AI 需要方言模型、豐富的方言數據集,以及符合當地基建條件的部署方式,才能貼近使用者實際使用的語言。MasryGPT 微調 Qwen2.5-1.5B-Instruct,在 80k 埃及語例子上訓練一個 epoch,埃及語流暢度達 4.6/5,但標準阿拉伯語流暢度下降 10%;作者指出,這項評分來自 3 名講者的內部評審,並非獨立基準。

  4. DEV Community51

    Still Spoken 以 85 支蠟燭呈現 Gemma 3 1B 對電腦先驅的遺忘

    作者建立 Still Spoken,以 85 支蠟燭呈現 Gemma 3 1B 對已故電腦先驅的辨識情況,並用 LoRA 微調把 77 人的姓名寫回模型權重。模型對這 77 人的回憶題答對數由 6 升至 74,微調在 6 GB 手提電腦 GPU 上用時 21 分鐘,產生 52 MB LoRA adapter。對未納入微調的知名人物選擇題,模型給出正確答案的信心由 84% 降至 51%。

  5. 新浪科技52

    女生租下30套房,每套約用一週訓練人形機械人

    浙江一名項目負責人為人形機械人採集訓練數據,於2026年6月一次簽下30套房源,每套短租約一週,供機械人在真實居家場景練習家務。訓練由物品抓取、放置逐步擴展至整理房間、沖咖啡及清洗實驗器皿,場景涵蓋家庭、廚房、餐廳、超市和藥店。由於機械人暫時未能靈活同步完成拿手機、端水杯等雙手動作,訓練人員須把連貫動作拆成獨立步驟分步採集數據。

  6. Unite.AI29

    甚麼是 Flow Matching?生成式 AI 的更快速路徑

    Flow matching 是一種生成模型訓練方法,透過訓練連續速度場,沿指定機率路徑將樣本由簡單分佈傳送至數據分佈。其運作流程包括選擇來源與目標分佈、抽取路徑中間點、訓練網絡預測目標速度、積分學得的常微分方程,以及解碼樣本;它不同於反覆逆轉噪聲過程的隨機擴散取樣。

  7. The Decoder65

    Google DeepMind 利用衞星數據和 AI 建立全球森林地圖 ForTy

    Google DeepMind與世界資源研究所開發ForTy全球森林地圖,將2020年全球土地劃分為6類,底層數據解像度為10米。該地圖為歐盟《零毀林產品條例》(EUDR)提供參照;專家核查8,190個抽樣地點,整體正確率為90.2%,但樹作物及人工林的辨識率僅約一半。地圖、分類層及測試數據以CC BY 4.0免費提供,程式碼已發布於GeeFlow和JEO儲存庫。

  8. 第一財經42

    高價值數據依然短缺,數據如何「用得好」卡在最後一公里

    高質量數據短缺及數據應用難以落地,成為人工智能產業從「供得出」走向「用得好」的瓶頸。全球數據總量中有效利用的僅約3%;具身智能訓練數據需求達千萬小時級,現有高質量數據僅在百萬小時級。業界指出,應用須接入前沿基礎模型並形成效果回饋閉環,數據信任、算力配置及商業模式也仍待解決。

  9. 第一財經40

    從「有數據」到「有價值」:上海探索以公共數據打造產品

    上海由兩家授權營運機構推出首批公共數據產品,嘗試打通從資源歸集到產品供應的鏈路。2026全球數商大會聚焦數據進入場景、交易並創造商業價值;運營機構提出以脱敏、匿名化等方式開發二級數據產品,並探索「四個車間+一個中心」的規模化生產模式。大模型和智能體正重塑數據流通形態,上海數據集團提出「鏈數智融合」架構。

  10. DEV Community41

    我教開源 AI 聆聽故障機器的幽靈:ECHO-17

    團隊開發 ECHO-17,讓用戶檢視真實液壓系統錄音,並以 AI 分析機器狀況。Random Forest 在 441 個留出週期的準確率為 99.32%,但 Cycle 735 被誤判為接近故障;系統保留這項錯誤,供用戶核對實驗記錄。公開示範使用預先儲存的推理結果及經驗證的 Gemma 報告,不會即時執行 Gemma 或 GPU 推理。

  11. DEV Community47

    對比學習:為何拉近相似樣本能在沒有標籤的情況下學習表徵

    對比學習透過拉近正樣本對、推遠負樣本對,在沒有標籤的情況下訓練可遷移至其他任務的表徵;SimCLR、MoCo 和 CLIP 均採用這個核心概念。InfoNCE 損失以負樣本避免表徵塌縮,而表徵品質取決於對齊與均勻性之間的平衡。資料增強方式決定模型學會忽略哪些差異,因此設計正樣本對就是設計學習任務。

  12. 創業邦60

    紅果短劇為何令人一刷至少兩小時,平台又警惕被捧為「殺時間大王」

    紅果短劇日活達1.68億、人均單日觀看125分鐘,秦朔據此提出中國互聯網進入「字節時間」,李亮則質疑數據口徑及「捧殺」風險。文章分析,免費廣告、連播推薦與分賬機制降低觀看門檻,也令注意力分配牽動短劇生產並加劇內容同質化。文中亦討論監管治理、老年用戶保護及AI短劇對羣演工作的影響。