DepForecast:訓練開源模型預測哪些 npm 套件可能被棄用
DepForecast 是一款本機開源 CLI,旨在預測專案的 npm 依賴套件在未來 12 個月內被棄用的風險,並解釋原因及提供支援建議。目前資料收集、時間驗證和防止資料洩漏的機制已建成並測試,涵蓋 3,719 個 GitHub 儲存庫;TabPFN-3.5 預測器及 Gemma 解釋功能仍在計劃中。
DepForecast 是一款本機開源 CLI,旨在預測專案的 npm 依賴套件在未來 12 個月內被棄用的風險,並解釋原因及提供支援建議。目前資料收集、時間驗證和防止資料洩漏的機制已建成並測試,涵蓋 3,719 個 GitHub 儲存庫;TabPFN-3.5 預測器及 Gemma 解釋功能仍在計劃中。
這項研究探討語言模型資料歸因方法失效的原因,指出現有評測往往同時改變多項數據集屬性。研究提出 CATT 受控事實追蹤基準,透過完全虛構的知識進行微調,並設定明確的真實答案。此類受控合成基準可用於評估研究進展,再進一步檢視真實且受多種因素幹擾的訓練數據。
Revenant 使用 TabPFN-3.5 根據 npm 套件發佈歷史評估沉寂風險,在 1,141 個測試樣本上取得 0.8893 ROC AUC。回測以 3,803 個套件的 2024 年發佈紀錄作標籤,TabPFN-3.5 的 ROC AUC 高於邏輯迴歸的 0.8380,但兩者在工具實際使用的 top 10% 指標上相近,分別為 2.244 和 2.200 倍基準率。
作者獨自以 Python 開發開源氣候風險觀測平台 CaribScope,整理 1851–2022 年的大西洋颶風路徑,並整合即時地震資料、海面温度趨勢及 Random Forest 颶風等級分類器。平台以 16 個 Streamlit 頁面呈現,並以 Docker 部署在單一 VPS;分類器用於參照歷史風暴特徵,不是物理預報模型,亦不能取代 NOAA 的業務預報。
復旦創智邱錫鵬團隊比較長上下文混合架構,發現滑窗注意力與線性注意力各有優勢:前者較擅長長度外推,後者在長文續訓中的擬合能力較強。團隊提出滑窗線性注意力(SWLA),令 GLA-NoPE、GDN-NoPE 模型在 RULER 的 NIAH-SK1 任務中由 4k 外推至 64k,達到 16 倍免訓練外推並保持 100% 準確率。研究指出,混合架構的優勢來自不同注意力模組的互補。
高質素人類文本供應有限,合成數據可暫時填補模型訓練缺口,但過量使用會導致模型崩潰,令推理能力和事實回憶能力下降。研究顯示,合成數據佔約五分之一至三分之一有助提升表現,超過一半則開始侵蝕模型能力。訓練應以真實數據為基礎,並用獨立驗證器篩選合成數據。
Vacancy Autopsy 可核實招聘廣告中的職位是否仍能在僱主原始來源找到,並按結果提供連結、檢查紀錄或要求補充來源資料。作者以 97 筆公開 Lever 記錄微調 Qwen3-8B;在 100 筆 Greenhouse 驗證資料中,完整記錄準確率由 80% 升至 100%,欄位 micro-F1 由 0.95 升至 1.00。
上海儀電參與發起的「推動上海數據要素創新協同發展聯合行動」正式啟動,集中發布涵蓋五個方向的行動。旗下「一問用數」需求徵集智能體已於大會期間開放試用,可智能匹配公共數據目錄與數據產品。「智愛賽思」發布首批11項高質量標杆數據集,其社區要素庫已上線超3000項AI for Science資源,其中包括61項數據集。
mini-batch SGD 以隨機小批次估算完整梯度,讓每一步只需處理部分樣本;估計雖帶有噪聲,但平均而言等於真實梯度。批次大小為 B 時,噪聲約按 σ/√B 縮減;在 PyTorch 中,60,000 張 MNIST 訓練圖像以 batch_size 64 載入,每個 epoch 有 938 次迭代,最後一批有 32 張。
文章以二次損失説明,學習率決定梯度下降每一步的幅度,過小令訓練收斂緩慢,過大則會令誤差發散。對曲率為 λ 的二次損失,穩定條件是 0 < η < 2/λ,η = 1/λ 時一步到達最低點;在多個方向上,最陡方向會限制可用學習率。實作上可檢查有 C 個類別的 softmax 初始損失是否約為 ln C,再以相差 10 倍的學習率各跑約 100 次迭代,選擇令損失快速下降而不發散的設定。
反向傳播會由損失值向後傳遞梯度,逐層計算神經網絡各權重的梯度,作為調整權重的依據。例子中,第一個權重的梯度為 8/3,第二個為 4/9;使用 α = 0.05 更新後,損失由 0.44 降至 0.16。
文章以損失曲面示範梯度下降如何沿負梯度更新權重,逐步降低神經網絡的損失。例中學習率為 0.1 時,損失由 21 降至 20 步後的 0.001;學習率過小會令下降緩慢,過大則可能越過谷底並令損失上升。文章亦示範用 PyTorch 的 torch.func.grad 計算梯度,並建議試用 0.1、0.01、0.001 和 0.0001,比較前一百步的損失變化。
作者 Advik Divekar 建立 The Last Satellite,使用 TabPFN-v2 分析 OPS-SAT 遙測,並以 Tinker 微調 Qwen3-8B,將留出文件的欄位完全匹配率由 72.2% 提升至 86.3%。
損失函數把神經網絡的預測誤差轉成單一數值,訓練則逐步調整權重以降低損失。平方損失將誤差平方,3、2、1 的總損失為 14,平均平方誤差約 4.7;絕對損失相加得 6,平均絕對誤差為 2。新增誤差為 5 的離羣點,會令平方損失由 14 升至 39,絕對損失則由 6 升至 11,因此平方損失對大誤差更敏感。
TensorFlow 是 Google 於 2015 年推出的機器學習程式庫,以張量表示數據,提供建立、訓練及部署模型的工具。Keras 高階 API 可用於組合模型層,TensorFlow 亦支援即時執行及按需要編譯成計算圖。TensorFlow Lite、TensorFlow.js 及伺服工具可將訓練完成的模型部署到手機、瀏覽器及生產環境。
作者以 1,024-token 上限重跑 Qwen2.5-1.5B 的首 20 組配對,發現原先被 450-token 上限截斷的 13 條回覆中,有 8 條這次完成,另有 5 條仍未完成。完成回覆中,8 條獲補回的回覆有 4/24 個引文改動學生原話,雙次均完成的回覆則有 11/141;作者指出數據不足以構成結論。
O^{3}PD 以教師模型的 token 排序訓練學生模型,提升推理表現,且不需調整温度。在六組教師與學生模型配對中,O^{3}PD 在 HMMT25、AIME24 和 AIME25 的平均成績均高於 OPD,最高提升 2.9 分;在 AIME25 最高提升 5.6 分。
感知器是由一個人工神經元組成的模型,透過加權輸入總和與閾值輸出 1 或 0。預測錯誤時,它按輸入值與誤差調整權重;若一條直線能分隔兩類資料,這套規則便能在有限步驟內找到分界線。
OpenAI 將從 11 月 29 日起使用 Daybreak Blue 網絡安全會話資料訓練模型,這項政策變更由發給 Trusted Access 計劃成員的電郵確認。
機器學習讓電腦系統從示例中學習模式,並以訓練所得模型預測未見過的案例。常見類型包括監督式、非監督式及強化學習;可靠的流程涵蓋定義問題、準備數據、訓練基線模型、評估、部署和監察。評估時須避免數據洩漏、過度擬合及偏差數據,並按問題選擇合適指標。
《Deep Learning Crash Course》以 PyTorch 實作專案帶領讀者學習深度學習,書評認為內容兼具實用性與易讀性,適合希望把 AI 概念轉化為實際模型的讀者。全書涵蓋神經網絡、影像處理、自動編碼器及生成模型,並透過專案講解模型訓練與評估。
Stephen Witt 在《The Thinking Machine》中以 Jensen Huang 和 NVIDIA 為主線,指出現代 AI 的發展不只源於巧妙構想,也依賴運算方式的根本轉變。書中追溯 NVIDIA 如何由遊戲圖像晶片轉向平行運算,並透過 CUDA 讓 GPU 可用於圖像以外的通用運算;黃仁勳對平台、軟件及開發者支援的長期投入,也是這段歷程的重要部分。
Fei-Fei Li 在回憶錄《The Worlds I See》中,交織個人移民經歷與人工智能發展史,記述她如何從求學走向計算機視覺研究。書中重點回顧她以 WordNet 為概念框架建立 ImageNet,收錄逾十四百萬張標註圖片、涵蓋逾二萬個類別。
作者嘗試以受 Navier-Stokes 方程約束的擴散模型取代 CFD,為 2-D 翼型進行設計,但在首輪測試中,擴散模型不及查表法。改用查表搭配「檢索→微調→驗證」後,命中率達 83% / 97% / 99%,高於查表法的 75% / 91% / 98%;關鍵是利用已儲存的求解器結果判斷候選翼型。測試網格點之間的條件時,擴散模型仍落後於直接以代理模型微調。
wordfreq 3.1.1 的德語詞表不含 ß,會把 weiß、saß 等詞折疊成 ss 拼法,導致純字串比對錯報詞表遺漏。俄語的 ё/е 也可能令頻率統計偏差;土耳其語則不能只用 Python 的 lower() 處理大寫 I。建議比較時按語言正規化,並分開儲存比對用字串和顯示文字。
以阿拉伯語為先的 AI 需要方言模型、豐富的方言數據集,以及符合當地基建條件的部署方式,才能貼近使用者實際使用的語言。MasryGPT 微調 Qwen2.5-1.5B-Instruct,在 80k 埃及語例子上訓練一個 epoch,埃及語流暢度達 4.6/5,但標準阿拉伯語流暢度下降 10%;作者指出,這項評分來自 3 名講者的內部評審,並非獨立基準。
作者建立 Still Spoken,以 85 支蠟燭呈現 Gemma 3 1B 對已故電腦先驅的辨識情況,並用 LoRA 微調把 77 人的姓名寫回模型權重。模型對這 77 人的回憶題答對數由 6 升至 74,微調在 6 GB 手提電腦 GPU 上用時 21 分鐘,產生 52 MB LoRA adapter。對未納入微調的知名人物選擇題,模型給出正確答案的信心由 84% 降至 51%。
Google 於 2026 年 10 月 30 日宣佈,計劃根據 IETF AIPREF 工作組的工作,在 robots.txt 支援共用的 AI 訓練控制規則。
浙江一名項目負責人為人形機械人採集訓練數據,於2026年6月一次簽下30套房源,每套短租約一週,供機械人在真實居家場景練習家務。訓練由物品抓取、放置逐步擴展至整理房間、沖咖啡及清洗實驗器皿,場景涵蓋家庭、廚房、餐廳、超市和藥店。由於機械人暫時未能靈活同步完成拿手機、端水杯等雙手動作,訓練人員須把連貫動作拆成獨立步驟分步採集數據。
Flow matching 是一種生成模型訓練方法,透過訓練連續速度場,沿指定機率路徑將樣本由簡單分佈傳送至數據分佈。其運作流程包括選擇來源與目標分佈、抽取路徑中間點、訓練網絡預測目標速度、積分學得的常微分方程,以及解碼樣本;它不同於反覆逆轉噪聲過程的隨機擴散取樣。
Google 於 2026 年 10 月 30 日宣佈,計劃支援 robots.txt 共用 AI 訓練偏好訊號,讓網站管理者向多個參與的 AI 供應商表達訓練偏好。
NVIDIA CUDA 是 NVIDIA 開發的平台,讓軟件把一般運算工作交由 GPU 處理,而非只用於圖像處理。它透過 GPU 平行運算支援 AI 模型訓練、影片渲染及科學計算,PyTorch 和 TensorFlow 等框架亦會在底層使用 CUDA。
Google DeepMind與世界資源研究所開發ForTy全球森林地圖,將2020年全球土地劃分為6類,底層數據解像度為10米。該地圖為歐盟《零毀林產品條例》(EUDR)提供參照;專家核查8,190個抽樣地點,整體正確率為90.2%,但樹作物及人工林的辨識率僅約一半。地圖、分類層及測試數據以CC BY 4.0免費提供,程式碼已發布於GeeFlow和JEO儲存庫。
Google、Anthropic、OpenAI 和 Microsoft 承諾遵守新的 robots.txt 指令,讓網站營運者可用共通信號設定內容是否供生成式 AI 訓練抓取。
醫療健康數據「可信空間」落地仍需完善數據流通規則及利益分配機制,專家建議從簡易場景着手。醫院應先做好院內數據治理,並以卒中、腫瘤等高發、高價值專科作為切入點;企業可從患者招募、保險核保等較標準化場景,以小規模交易探索模式。
高質量數據短缺及數據應用難以落地,成為人工智能產業從「供得出」走向「用得好」的瓶頸。全球數據總量中有效利用的僅約3%;具身智能訓練數據需求達千萬小時級,現有高質量數據僅在百萬小時級。業界指出,應用須接入前沿基礎模型並形成效果回饋閉環,數據信任、算力配置及商業模式也仍待解決。
上海由兩家授權營運機構推出首批公共數據產品,嘗試打通從資源歸集到產品供應的鏈路。2026全球數商大會聚焦數據進入場景、交易並創造商業價值;運營機構提出以脱敏、匿名化等方式開發二級數據產品,並探索「四個車間+一個中心」的規模化生產模式。大模型和智能體正重塑數據流通形態,上海數據集團提出「鏈數智融合」架構。
團隊開發 ECHO-17,讓用戶檢視真實液壓系統錄音,並以 AI 分析機器狀況。Random Forest 在 441 個留出週期的準確率為 99.32%,但 Cycle 735 被誤判為接近故障;系統保留這項錯誤,供用戶核對實驗記錄。公開示範使用預先儲存的推理結果及經驗證的 Gemma 報告,不會即時執行 Gemma 或 GPU 推理。
對比學習透過拉近正樣本對、推遠負樣本對,在沒有標籤的情況下訓練可遷移至其他任務的表徵;SimCLR、MoCo 和 CLIP 均採用這個核心概念。InfoNCE 損失以負樣本避免表徵塌縮,而表徵品質取決於對齊與均勻性之間的平衡。資料增強方式決定模型學會忽略哪些差異,因此設計正樣本對就是設計學習任務。
紅果短劇日活達1.68億、人均單日觀看125分鐘,秦朔據此提出中國互聯網進入「字節時間」,李亮則質疑數據口徑及「捧殺」風險。文章分析,免費廣告、連播推薦與分賬機制降低觀看門檻,也令注意力分配牽動短劇生產並加劇內容同質化。文中亦討論監管治理、老年用戶保護及AI短劇對羣演工作的影響。