在構建 GPT 之前,我得先教會機器學習
作者以 JavaScript 從零實作 AI 基礎,嘗試在不依賴 TensorFlow、PyTorch 或機器學習框架的情況下,理解機器如何從例子中學習。文章逐步講解監督式學習、神經元、損失、梯度下降和反向傳播,説明模型如何衡量預測錯誤並調整權重。
作者以 JavaScript 從零實作 AI 基礎,嘗試在不依賴 TensorFlow、PyTorch 或機器學習框架的情況下,理解機器如何從例子中學習。文章逐步講解監督式學習、神經元、損失、梯度下降和反向傳播,説明模型如何衡量預測錯誤並調整權重。
MC-JEPA 以留一法市場因子作為條件,改善金融時間序列預測。在 11 年的中國 A 股分鐘級數據上,它在涵蓋回報、市場暴露、風險及流動性的九項預測目標中優於 per-asset JEPA。MC-JEPA 在所有流動性目標及 2 小時至 5 天的回報預測中取得最佳 RankIC,歷史回測的投資組合表現亦最佳。
《AI工程師踩坑實錄》第4篇以兩個實例説明如何用 PyTorch forward hook 逐層定位 loss 變 NaN 的首個溢出位置。學習率設為 100 時,loss 第 4 步變成 inf、第 5 步變成 NaN;降至 0.05 後,訓練 200 步收斂。自訂損失中的 log(0) 也會導致 NaN,建議使用 log_softmax。
Adobe 與華特迪士尼公司達成多年戰略聯盟,將共同開發專為迪士尼知識產權度身訂造的「藝術家主導型」生成式 AI 模型,以支援製作流程。雙方將透過 Adobe Firefly Foundry 平台開發模型,利用角色屬性、環境及視覺風格等迪士尼專屬世界知識訓練,生成可作商業用途且可直接用於製作的內容。Adobe 亦會提供最新技術的早期使用權,應用範圍包括主題樂園、郵輪及 ESPN 內容。
Helkyn Coello 提出企業 AI 應用的四級框架,從員工各自使用工具,逐步走向只在合適的流程中部署 AI。文中引述 McKinsey《State of AI 2026》調查,80% 受訪者稱 AI 提升個人工作效率,只有 37% 認為 AI 對公司的營運利潤有影響。作者將落地條件歸納為資料、工作流程設計和人員配合,並建議先評估成熟度、選定一項合適流程,再設定負責人、指標和期限。
CrowdWorks 與 Enhans 合作,成為政府「2026 AI Model Development Project Based on Manufacturing Tacit Knowledge」官方合作夥伴。
Meta 的 Faiss 維護者發佈 Faiss 1.16.0,加入 e-means 聚類演算法的 CPU、GPU 及分散式實作。
文章指出,XFS 是多 GPU 深度學習節點本地 NVMe 暫存儲存的有力選擇,但是否合適取決於實際負載,不能假設它總是快於 ext4。XFS 的 allocation groups 可分散部分配置及 metadata 工作,extent-based allocation 和 delayed allocation 則有助處理大型寫入。
TensorWorld物原科技成立四個月,並在一個月內完成天使輪及天使+輪,融資逾億美元,押注物理基礎模型路線。該路線讓模型從數據中學習物理世界的演化規律,並結合幾何與合成動力學進行預訓練。文中所述 GeoPT 方法在工業物理仿真任務中減少20%至60%的有標籤數據需求,收斂速度最高提升至2倍。
Claude 推出 Claude Whiteboards 和 Claude Sheets 測試版,並將 Claude Dashboards 更名為 Claude Data,正式全面開放使用。Whiteboards 支援團隊即時協作構思,Sheets 可建立和編輯試算表;Claude Data 提供數據故事,已認證查詢和即時分享則仍在測試版。三項產品均適用於所有付費方案,支援網頁、桌面及流動裝置。
推薦理由:白板、試算表與數據工作可在 Claude 內協作,完成後亦可接續至合作工具,呈現這次更新如何連結內部編輯與外部工作流程。
Anthropic 與 Truthful AI 等機構的研究人員在小型模型實驗中發現,加入對照式乾淨資料有時會加強投毒資料的後門效應。例如,Qwen3-8B 的投毒資料有 80% 換成乾淨資料後,在接種提示詞下的不對齊率由 7% 升至 16%,但一般助理系統提示詞下沒有變化。研究亦在其他設定及 MNIST 分類器觀察到類似效應,並指出單獨審核訓練資料可能漏掉混合資料後才出現的影響。
Continual-ARC 以 ARC-AGI 三個版本的任務建立終身學習測試流,在凍結權重的智能體 harness 下,以同一尺度比較基於記憶與權重的持續學習。研究在 Qwen3.5-9B 和 GLM-5.3 Flash 上測試,發現 harness 持續性通常未能改善記憶,多數方法表現不及單純快取示範;權重學習則在未見任務上展現較佳泛化。
Breath-Dx 使用包含 1,234 名患者、涵蓋九個診斷組別的 S-OH 數據集,評估 10 種時間序列分類方法,並以配合感測器漂移的時間切分進行測試。時間驗證的 AUC 較隨機交叉驗證低 0.05–0.12;部分肺部疾病的 ROC AUC 達 0.74–0.76,循環模型在不同疾病間表現最穩定。研究公開 S-OH 數據集、時間切分、評估流程及程式碼。
作者認為,騰訊混元 Hy4 是理想中的 Kimi Flash:它速度快、成本低,並提升了推理能力,適合大部分辦公任務。實測速度超過 150 Token 每秒,作者估計其水平約為 DeepSeek V4.1 Flash 的 8 成,但長程任務和較複雜的物理問題仍較弱。文章亦指出,大模型競爭的關鍵在數據、算力與組織能力。
Stanford HAI 於 2026 年 11 月 10 日公佈第三份 AI100 報告,指出生成式 AI 擴展正受高質素數據短缺及前沿訓練成本限制。報告預期下一階段會更多依靠更智能的演算法、可能較小且較少重建的模型,以及推理階段的更多計算和工具或智能體。報告亦稱,AI 數據中心及晶片投資的規模與速度超越以往投資熱潮,但 AI 對整體宏觀經濟的影響及企業投資回報尚未在數據中顯現。
Creative priming 提出以 GRPO 訓練 priming model,按提示詞生成專屬 primer,協助 response model 產生新穎、高質素且多元的回應。此方法將創作過程與回應生成分開,透過獎勵能帶來理想回應的 primer,學習創作原則而非重複特定作品。
Stanford AI100 發佈第三份五年報告,指出過去五年由更多算力和數據推動的擴展模式,正受高質素數據短缺及前沿模型計算成本所限。報告預期下一階段將依靠更聰明的演算法、更小的模型,以及更多時間進行推理,並指出資料中心及晶片投資正加劇能源和淡水供應壓力。
Mercor 完成 $750m 的 Series D 融資,估值達 $20bn。這次估值是其在 2025 年 10 月以 $350m 融資時 $10bn 的兩倍。公司表示,新資金旨在支持其向其他企業銷售同類服務;其專家網絡現有超過 500 萬名專家,負責訓練及評估 AI 模型。
Amazon 發佈第二代表格基礎模型 Mitra-v2,支援分類與回歸,並在 Hugging Face 以 Apache-2.0 授權開放微調模型及推理、微調程式碼。
Hedra 推出 Model Factory,這項提供服務的後訓練與推理平台,透過自主訓練流程,協助機械人及其他實體系統的 AI 模型持續改進。平台可將 MiniMax 的 H3 影片模型在 Physics-IQ benchmark 的評分由 30.3 提升至 34.9;亦將 Krea 3 2K 的取樣步數由 30 降至 14,延遲由 22 秒降至 3.6 秒。
Hedra 推出 Model Factory,為機械人、製造、生物及國防團隊提供模型首次訓練後的客製化服務。服務包括租用算力、以客戶數據微調及運行模型,並由 Hedra 研究人員與可自主進行實驗的 AI 智能體協作。Model Factory 現已可在 Hedra 網站使用;Hedra 稱曾在不到一週內,使用相同的 AMD 晶片將 Krea 3 加速約六倍。
SWAM 研究如何在動作學習中維持語言與影片的對齊,並擴展世界動作模型。研究整理約 47,000 小時影片及示範數據;模型在 Easy 和 Hard 條件下的成功率分別為 88.10% 和 61.56%,三項真實世界任務的成功率為 40.00%,高於最強基線的 23.33%。團隊公開整理後的數據、訓練程式碼及模型權重。
Apache Sourcelume 新增 TrainingProvenanceRecord,讓模型生產者以機器可讀記錄列明訓練資料,並引用資料集記錄及標示 token 數和佔比。
DeepSeek 以較低訓練成本和 MoE 架構,展示大模型如何以較少算力取得高效能。DeepSeek-V3 訓練成本為557.6萬美元,總參數6710億,每次回答只激活370億個參數;DeepSeek-R1 則透過強化學習學會逐步解題。文章亦指出,降低算力需求有助推動大模型普及。
禾賽科技發布《空間智能白皮書》,闡述空間智能的技術演進、產業趨勢與應用機遇,並介紹三維世界數據引擎 Kosmo 的進展。Kosmo 包括 Kosmo One 空間相機及 Kosmo World 雲平台,提供 Sim-ready 和 Production-ready 兩類應用。白皮書指出,高質量、多模態三維空間數據的規模化供應,是推動物理 AI 發展的關鍵基礎設施。
Google DeepMind 開放 SatWeave 和 PARDIG 的即時資料及歷史檔案,供研究人員和開發者用於天氣、水文及氣候應用。SatWeave 每小時更新,涵蓋 17 個可見光、水汽及紅外線通道;PARDIG 提供時間解析度為 15 分鐘、約 10 公里解析度的全球降水圖,平均延遲約 5 小時。
推薦理由:兩套數據集分別提供全球衞星影像拼接與降水估算,並開放即時資料和歷史檔案,呈現它們支援天氣、水文及氣候應用的資料基礎。
InfraRSI 是一套智能體工作流程,將開放式指令轉化為經驗證的 LLM 訓練優化,並透過跨硬件經驗與線上更新模型先驗,協調設定和程式碼修改。在四種單節點及多節點的 dense 和 MoE LLM 工作負載中,InfraRSI 最多提升速度 2.75 倍,並將平均 MFU 從 17.4% 提高至 30.0%。
數據科學問答涵蓋數據預處理、模型評估、特徵工程及常見機器學習方法,説明各方法的原理、適用情況與限制。內容包括交叉驗證、L1 和 L2 正則化、K-Means、Random Forest、梯度下降及 SVM,並解釋類別不平衡時準確率可能造成誤導。
美團在 LongCat-2.5 技術博客中稱,訓練、Prefill 和 Decode 可獨立選擇並行配置,同時保持逐 token logprob bitwise 一致。
微軟公開一項專利申請,描述將遊戲電腦等邊緣設備的閒置顯卡算力分配給 AI 模型訓練任務。系統會按設備性能和空閒情況分配任務,並在高負載或達到温度限制時降低或暫停計算;用戶可按貢獻獲得積分。微軟尚未宣佈推出相應 Windows 功能,也未要求用戶參與。
作者在 RX 6600(8 GB)上訓練出一個 36M 參數的超網絡,根據提示詞生成各層權重,並以 Qwen2.5-0.5B 的第 6 層作為基礎層。模型使用 11,264 個詞彙、8 層生成深度及 Wiki 資訊,訓練約 8 小時、處理約 60M tokens。示範中,模型能自行決定何時呼叫工具,並根據檢索到的資料綜合回答。
作者以六個問題拆解大模型預訓練全流程,涵蓋階段安排、學習率、數千卡並行、低精度訓練、梯度裁剪、損失尖峯處理及 MFU 評估。文中列出 405B 模型訓練狀態約 6.48 TB,並引用 PaLM 540B 的 MFU 46.2%及 Llama 3 405B 的約 38%~43%。
作者以 53 篇自家文章訓練三個小型 decoder-only Transformer,實測預訓練損失曲線,並解析 Scaling Laws、學習率與重複訓練資料的影響。
微軟一項新專利提出把大型 AI 訓練任務拆成微型任務,分配給閒置的邊緣設備 GPU 執行,並讓用戶獲得報酬。用戶須主動授權,完成任務可獲積分,兑換免費軟件、模型存取權限或現金。專利公開不代表技術一定落地,實際應用及報酬仍未確定。
作者以本機實驗展示,標籤與圖像順序錯位會令模型學習錯誤答案:錯位 10% 時準確率由 0.962 降至 0.893,全部錯位時為 0.098。即使錯位 10%,訓練 loss 仍降至 0.022,因此單看 loss 曲線難以發現問題。文中建議訓練前抽樣可視化,並以相同索引同步打亂及用哈希校驗 X/y 順序。
小佩 PETKIT 發佈 PETKIT TRACE,整合餵食器、飲水機和貓砂盆記錄的數據,建立可回溯的寵物健康檔案,並由 AI 分析寵物狀態。Moonback 也計劃擴展穿戴設備、睡眠窩墊和 AI 攝像頭,從多個維度採集數據。寵物科技企業正探索以持續數據分析和訂閲服務,突破硬件同質化;但要把數據轉化為可靠洞察和可執行建議,仍有距離。
UK Biobank 的蛋白質數據在 VR 分子實驗室中呈現出平面螢幕上難以辨識的結構關係與模式。文章以 Quest 3 和 Nanome 示範查看胰島素結構,並指出 2D 圖表中不明顯的三個離羣殘基在 VR 中清晰可見。該流程以 WebXR 和 Unity URP 渲染,支援最多 10 萬個原子並維持 90 FPS。
四維圖新 CEO 程鵬表示,公司願擔任可信中間層,搭建數據合規基礎設施,協助車企理解法規、匹配技術路線並推進項目落地。公司推出“數據本地化、模型全球化”和“合規數據出入境”兩套數據閉環合規方案,以適配不同車企的海外銷量規模。四維圖新海外業務今年實現盈利,服務覆蓋160多個國家。
Nous Research 於 2026 年 11 月 6 日發佈 Arete 27B;在其 803 條提示詞評測中,宣傳式回答比例由 22% 降至 0.9%,事實平均分由 2.32 升至 2.98(滿分 5 分)。
作者分析 EGAT 直流充電網絡 212 個站點的資料,發現約四成所謂充電器故障源於通訊問題,而非硬件損壞。在 45 個模型未見站點的 8,820 次會話留出測試中,Traditional AI 得分最高(69.6),Agentic AI 召回率最高(85.1%)。