跳到正文
11月3日週二
  1. Latent Space60

    Weight-Space Programming 展示大語言模型可直接讀寫神經網絡權重,繞過遞歸自我改進(RSI)循環中的 Autoresearch

    Weight-Space Programming 研究展示,前沿大語言模型可按自然語言目標直接讀取及編輯神經網絡權重,而毋須梯度下降或訓練循環。研究報告稱,編輯 Qwen3.5-0.8B 僅 0.016% 的權重後,MATH-500 得分由 7.9% 升至 48.1%。文中指出,目前展示集中於簡單遊戲與強化學習策略;討論者亦質疑基線低分可能源於模型重複輸出,未必反映普遍數學能力提升。

  2. DEV Community57

    準確率達 95% 的研究分類器仍可能漏掉所有有用候選項

    文章以一組合成數據説明,研究分類器即使準確率達 95%,仍可能漏掉全部 5 個正例候選項。另一組預測的準確率為 93%,找出 5 個正例中的 4 個,召回率為 80%、精確率為 40%,同時有 6 個假陽性。文中提供標準 Python 算術核對及 AI 助手審核提示詞,並指出示例是合成教學數據,不能代表實際模型的實驗結果。

  3. DEV Community40

    作者公開自己的虧損交易紀錄:321 宗往返交易,淨虧 $35.85

    作者公開並以 $15 一次付款出售 321 宗已平倉往返交易紀錄,當中 153 勝、168 負,扣除費用後淨虧 $35.85。按時間戳分成訓練集和測試集後,兩部分的做空交易、$1–$10 價格區間交易及 00:00–06:00 UTC 入場交易均錄得虧損,作者已在策略中停用相關交易。放寬止蝕策略的測試結果對滑點敏感,加入 0.25% 滑點後,測試集轉為負數。

  4. DEV Community44

    小型 Next-Concept Modeling(NCM)模型在 TinyStories 上訓練:損失更低,故事更差

    作者以 MLX 從頭訓練小型 NCM 模型,發現教師強制下的損失愈低,模型自行生成的故事反而愈差,表現也不及使用相同 Transformer 區塊的自回歸(AR)基線。減少訓練時的程式碼損壞後,clean code CE 由約 2.25 降至約 1.39 nats per code,但兩個生成器種子的 GPT-2 large perplexity 均上升,最高由 45.568 升至 93.833。

  5. DEV Community61

    AI 應用應選哪種數據架構?數據倉庫、data lake 與 lakehouse 的適用場景

    AI 應用沒有通用的最佳數據架構,數據倉庫、data lake 與 lakehouse 分別適合不同數據類型、使用者和工作負載。監督式機器學習與 BI 常以數據倉庫為起點,深度學習所需的圖像、音訊等非結構化數據通常存於 data lake;lakehouse 則可在 lake 的儲存層上加入 ACID、schema evolution 和 time travel。

  6. DEV Community32

    甚麼是 AI?

    AI 模型由神經網絡中的參數構成,訓練會逐步調整參數,令模型更能產生有用回應。增加參數需要更多數據和運算資源,也會提高每次使用的成本,但模型規模加倍不代表智能加倍。模型即使完成訓練,仍可能自信地生成錯誤內容,這稱為模型幻覺。

  7. DEV Community37

    極端數據稀疏下行星地質勘測任務的生成式模擬基準測試

    文章探討如何以生成式模擬,為極端數據稀疏情境下的行星地質勘測任務建立模型基準測試。所建流程包括生成地質場景、產生場景標籤,以及跨地質參數抽樣評估,並以穩健性概況取代單一準確率。由於合成場景的真實標籤已知,模型可在未見過的地質分佈上接受評估。

  8. HuggingFace Daily Papers(社區熱門論文)45

    StepX-OPD:重新思考擴散模型的多教師在策略蒸餾

    StepX-OPD 將多教師在策略蒸餾與少步採樣整合訓練,讓文字生成圖像擴散模型同時習得多項能力並以少量步驟生成。研究在 SD3.5-Medium 和 FLUX.1-dev 上評估,StepX-OPD 在比較的四步方法中取得最高標準化平均分,並超越四十步 Flow-OPD。於 SD3.5-Medium 上,其 GPU 訓練時數較先後進行 DiffusionOPD 和步數蒸餾減少約 37%。

  9. DEV Community57

    BERT-Mini 知識蒸餾在 1,000 個標籤加 9,000 個無標註句子的設定下提升準確率 8.5 個百分點

    作者將 BERT-base 情感模型蒸餾至 BERT-Mini,發現使用 10,000 個標註樣本時,蒸餾與只用標籤訓練沒有可測差異。改用 1,000 個標註樣本加 9,000 個由教師模型提供目標的無標註句子後,模型平均準確率達 82.34 ± 0.50%,比只用 1,000 個標籤高 8.5 個百分點,並與使用 10,000 個人工標籤訓練的學生相差不足 0.3 個百分點。

  10. AWS Machine Learning Blog66

    如何在 Amazon SageMaker AI 上以知識蒸餾建立高效購物智能體

    AWS 示範以 SeqKD 在 Amazon SageMaker AI 上微調 Qwen3.5-4B 購物智能體。流程以 Amazon Bedrock 上的 GLM-5.3 生成多步軌跡,並用 ShoppingBench 評分器保留成功樣本。

    推薦理由:ShoppingBench 保留測試集顯示,4B 學生模型平均 ASR 比基礎模型高 24 個百分點,保留教師推理也比只訓練工具呼叫高約 13 個百分點。

11月2日週一
  1. HuggingFace Daily Papers(社區熱門論文)43

    P²-MOPD:以參數先驗加速多教師 on-policy 蒸餾

    P²-MOPD 將凍結專家模型的 task vectors 作為可學習參數先驗,與學生權重及係數 α 聯合訓練,以加速多教師 on-policy 蒸餾。Qwen3-1.7B 和 4B 實驗中,最終平均恢復率分別達 94.7% 和 94.9%,高於 MOPD 的 80.9% 和 83.1%,並以一半訓練步數超越 MOPD 的最終表現。

  2. HuggingFace Daily Papers(社區熱門論文)42

    BEND 2.0:評測設計 DNA 所需的能力

    BEND 2.0 評估 DNA 語言模型預測突變效應及指導序列設計的能力,結果顯示線性讀出可媲美或超越模型原生輸出,功能性後訓練亦能提升表現。基準涵蓋五個實驗數據集的八項任務,模型選擇及表徵取得方式都會影響表現。模型在情境特定效應及多細胞目標設計方面仍有改進空間。

  3. 新浪科技52

    研究發現:好奇心或驅動人類大腦形成複雜結構

    研究以 275 名 8 至 15 個月大嬰兒的眼動追蹤數據設計不同好奇心水平的人工神經網絡,發現好奇心較強的網絡在新測試中表現較佳,並形成類似人腦的分層模組結構。模型完成 20 項任務;高好奇心模型在學習速率低於閾值時切換任務,低好奇心模型則隨機切換。研究者還發現,好奇心最強、結構最接近人腦的網絡連接密度先升後降,按人腦發育曲線估算的「生理年齡」約為 20 歲,低好奇心網絡則約為 9 歲。

  4. DoNews34

    研究發現好奇心驅動類腦結構演化

    劍橋大學團隊模擬嬰兒學習行為,訓練數千個人工神經網絡,發現高好奇心模型在任務泛化能力、模組化結構及連接發育規律上均更接近人腦。研究以275名8–15個月大嬰兒的眼動數據為基礎;高好奇心模型形成的發育軌跡對應約20歲,低好奇心模型則約為9歲。