在大語言模型中置入 CPU:以零梯度編譯將精確電路寫入預訓練權重
研究提出零梯度電路嫁接方法,無需訓練樣本或執行時掛鈎,便可把確定性計算直接編入預訓練語言模型權重。在 6 位數算術測試(N=1,200,BF16)中,IBM Granite 4.2 3B 和 Alibaba Qwen 3.5 4B 的 ALU-prefix 準確率分別為 99.17% 和 100.00%。
研究提出零梯度電路嫁接方法,無需訓練樣本或執行時掛鈎,便可把確定性計算直接編入預訓練語言模型權重。在 6 位數算術測試(N=1,200,BF16)中,IBM Granite 4.2 3B 和 Alibaba Qwen 3.5 4B 的 ALU-prefix 準確率分別為 99.17% 和 100.00%。
Goa 內閣批准為期三年的 Goa Artificial Intelligence (AI) Policy 2026,並設定到 2030 年培訓及認證 50,000 名畢業生的目標。
文章提出一套以 SQL 管理時點基本面數據的方法,將穩定事實與其版本分開保存,並按決策截止時間選取最新可用版本,以免後續申報改動覆寫歷史查詢結果。文中以 PostgreSQL 風格 SQL 示範如何保留撤回狀態,並透過重播與策略輸出整合測試,檢查新增未來版本後歷史因子、排名及投資組合權重是否改變。
文章解釋 Netflix 和 Spotify 如何按用戶的觀看及聆聽行為推薦影片與音樂。Netflix 在 2025 年 3 月以一個 Foundation Model 取代多個窄用途模型;Spotify 則結合協同過濾、自然語言處理及音訊分析。兩者以觀看時間、互動和留存為優化目標,用戶可透過回饋及搜尋不同內容來調整推薦。
作者以 LoRA 微調一個小型 LLM,只訓練 2.11% 的權重,並比較成本與全量微調結果。LoRA adapter 為 0.51 MB,完整權重為 23.44 MB;優化器記憶體分別為 0.99 MB 和 46.8 MB,單步耗時則為 95.6 毫秒和 104.7 毫秒。
研究團隊建立 LLM 驅動視覺模型權重空間程式設計基準,並發現專為編輯準備模型可大幅提升編輯成功率。研究以 5 個 LLM 在 4 個數據集上進行超過 2,600 次編輯;Edit-Ready Training(ERT)在 GPT-6 Astra 和 Claude Opus 5.5 的所有評測基線中取得最高平均分。團隊將公開測試框架、任務、編輯軌跡及評分。
5Y Research分析AI如何進入前沿工程與製造業,並探討以AI串聯設計、模擬、試製和測試的研發路徑。文中舉例,PhysicsX以AI模型加快心臟輔助泵方案搜尋,約10小時找到新結構;按PhysicsX綜合多項指標的口徑,較基準方案改善約42%。文章指出,工程數據分散、驗收依賴客戶實際場景,方案仍須經模擬、實物測試和工程師驗證。
百度智能雲百舸團隊開源的 LoongSage,透過量化感知訓練(QAT)處理大模型以 BF16 訓練、再以 FP8/FP4 推理時的精度不一致問題。框架採用訓推共用低精度權重、原地權重量化、TRACE 激活校準及固定隨機閾值等方法;改進後的 QAT 訓練效果不輸甚至略優於 BF16。
AI 是以數學和統計學為基礎的工程實踐,透過計算從數據中找出規律,再用來預測結果;模型本質上是把輸入映射到輸出的函數。文章梳理 AI、機器學習與深度學習的層級關係,並指出數據、算法、算力和應用場景都是重要要素。AI 並非萬能,也不代表模型真正理解內容。
文章認為,沒有數據專員的初創公司通常不必一開始採用 Bronze、Silver、Gold 三層架構,但應保留未修改的原始數據副本、記錄變更歷史的模型,以及書面資料定義。當映射表越來越多、出現需求不同的第二個數據使用者,或重複轉換工作值得儲存時,再增加相應數據層。文中提供 PostgreSQL 16 範例,示範原始數據表、歷史表和客戶映射表的做法。
AI正由前沿科學延伸至前沿工程,進入設計、模擬、試製與製造閉環,協助突破引擎、散熱及微型開關等性能瓶頸。PhysicsX 的心臟輔助泵項目按公司綜合指標口徑改善約42%,支架模擬方案減重18.5%;Atomic Machines則以 Matter Compiler 協調多種微製造工序,開發 PrimeSwitch。
LightningMoBA結合動態路由、KV重用及流水線執行,提升MoBA的GPU注意力計算效率。於五個模型、4K至128K上下文及完整RULER測試中,相較FlashMoBA平均端到端速度提升1.20–1.60×,平均RULER分數由74.42升至75.28。
加州車管局因 Waymo 接連駛入施工封閉區,禁止其在全州高速公路上進行無安全員營運和測試。禁令後,Waymo 把高速載客服務暫停範圍擴至舊金山灣區、洛杉磯、鳳凰城、邁阿密和奧斯汀;文章指出,施工等道路規則突變會考驗自動駕駛系統。文章並指出,除改進車載軟件及模擬訓練外,及早向車輛傳送封路和交通管制資訊,也可補充車端判斷。
意法半導體更新 ST Edge AI Suite 工作流程,整合四款新工具,協助開發者在 STM32 微控制器上選擇、調整和測試嵌入式機器學習模型。
百曜科技以新一代虛擬細胞世界模型 CellOS,連接真實實驗與人體數據、不同尺度的模型、科學智能體和實驗驗證,建立持續學習的研發系統,讓細胞幹預先在虛擬空間推演。CellOS 採用隱空間對齊架構及 LLM-JEPA 策略;百曜亦正為 CHO、HEK293 工程細胞開發虛擬細胞模型,目標是支援每小時百萬次模擬。公司未來一年的目標,是讓系統在真實項目中穩定輸出預測。
文章指出,逼真的 AI 科普內容若有細節錯誤,可能在傳播和後續訓練中放大知識污染風險。案例之一是涵蓋全球11064種鳥類、免費開源並允許商用的貼紙;開發者投入超過10億Token生成和審核,貼紙仍可能畫錯辨種特徵。文中引述的出版原則要求 AI 輔助內容標識可識別、內容可核驗、責任可追溯;物種形態等準確性至關重要的圖示,須由專家審查。
AutoMaster 是一套自主後訓練系統,透過分析軌跡、設計技能、篩選資料及評估目標模型,改善同一模型生成教師軌跡的方式。系統在 Terminal、Search 和軟件工程任務中,以 4B 和 9B 目標模型測試,較 Vanilla SFT 的平均表現提升 1.42-8.99 個百分點。六種設定均顯示,微調時保留技能指示的平均表現較移除指示更高,即使評估時沒有這些指示,監督輸出亦相同。
《Posterior Matching Distillation》以後驗匹配蒸餾為題,收錄於 HuggingFace Daily Papers 社區熱門論文。頁面顯示,目前沒有模型、數據集或 Space 連結至該論文。
論文提出 TuringSpace,一個包含 125 個互動式 CAPTCHA 的合成網頁環境,透過點擊和拖曳測試多模態模型的五種空間能力。人類成功率為 94.1%,表現最佳的模型 GPT-6 Astra 仍有 25.9% 的任務失敗;最佳開放權重模型 Kimi K3 則有 68.0% 失敗。
Prometheus 估值達 410 億美元,累計募資約 145 億美元,聯合創辦人兼聯席 CEO 傑夫・貝佐斯稱,公司的目標是打造「通用 AI 工程師」(AGE)。
馬斯克在深圳訪華期間遠程參加 TomorrowX 峯會對談,稱黃仁勳如巔峯時期的 Michael Jordan,並指英偉達失去他的掌舵是重大打擊。對談亦談及 SpaceX、xAI、Tesla 等公司的進展;馬斯克稱 xAI 正以 C/C++ 從頭重寫訓練、強化學習及推理軟件堆疊,Grok 4.8 以解決實際問題為目標,而非提高基準測試成績。
文章指出,Excel 公式、合併儲存格和數字顯示格式會令大語言模型誤讀資料,並示範以 Python 的 Spire.XLS 整理工作簿。流程包括檢查工作表結構、計算公式、攤平合併儲存格,再按用途匯出 CSV、JSON 或 Markdown;需要控制欄位型別時,可逐欄建立 JSON 記錄。作者指出,這套做法修正的是資料形狀,商業語義如何處理仍由使用者決定。
RWS 集團首席執行官本傑明·法斯出席深圳 APEC 工商領袖峯會,分享對中國市場潛力及 RWS 在華策略的看法。旗下 TrainAI 為大語言模型與具身智能提供 AI 訓練數據服務,涵蓋數據採集、標註、RLHF 及紅隊測試。TrainAI 社區有來自 193 個以上國家和地區的 34 萬餘名專家,服務支援 900 多種語言變體。
澳洲大型科技公司已在興建數據中心,文章質疑工黨政府為何仍急於提供版權漏洞,以吸引科技公司進駐。漏洞可能讓 AI 公司未經許可或付費,擷取音樂、書籍及新聞等作品訓練模型;作者主張版權法應保障創作者的同意、署名和補償。
《AI工程師踩坑實錄》第12篇以四組對照實驗指出,loss 不降反升的常見原因是學習率過大、標籤噪聲或特徵量綱失控,模型結構問題應較後排查。學習率設為 0.5 的組別在第 1 步驗證 loss 為 1.67,第 60 步訓練 loss 升至 1.30;標籤翻轉組的驗證 loss 第 97 步觸底於 0.478,第 300 步升至 0.714。
智能慢性病管理平台融合穿戴設備、家用檢測儀器與電子病歷等多源資料,利用動態風險預測模型進行指標監測、風險分級與個人化幹預。平台採用雲原生微服務架構,建立「監測—評估—幹預—反饋」閉環,並透過線上監控和新標註資料微調模型。AI 建議須由醫生復核,不能取代臨牀決策。
商湯至今仍將20%的資源投入沒有產品出口的預研工作,林達華認為,長期競爭力來自沿着有價值的方向持續深入,而非跟風拼手速。商湯的Seko今年用戶增長了7到8倍,平台上已有播放量過億的短劇。
測試時訓練(TTT)透過在推理期間更新模型的快速權重,讓模型從當前讀取的上下文中即時學習,而非只把資訊壓縮成固定狀態或存入 KV cache。TTT 層以自監督重建任務產生梯度訊號,Titans 則按驚訝度決定記憶更新優先次序。Nested Learning 將凍結的慢速外層權重與可快速適應局部上下文的快速內層權重分開。
合成數據可降低標註成本並減少個人資料外洩風險,但模型反覆以其他模型的輸出訓練,會令數據分佈逐輪收窄,罕見事件可能消失。合成數據適合與真實數據混合使用,由合成數據補充罕見案例,並以真實數據維持分佈基準。
Meta FAIR 推出 Self-Improving Memory,讓 AI 智能體自行發現記憶提示詞,再透過微調把相關技能寫入模型權重。這種方法在 3 項 Continual Learning Bench 任務的平均分為 56.0,高於最佳人工編寫方案的 44.6;Codebase 任務取得 64.3 分,領先 20.6 分。
域隨機化透過在訓練期間改變模擬環境參數,讓 AI 策略適應多種條件,減少對單一模擬設定的依賴,協助轉移至實體機械人。隨機化範圍可涵蓋視覺特徵、物理動態及感測器特性,促使策略更依賴可靠特徵和感測回饋。成效取決於訓練條件是否涵蓋或接近真實環境;不切實際的分佈或參數覆蓋不足,仍可能導致部署失敗。
NVIDIA Dynamo 用於減少強化學習訓練中的 rollout 瓶頸。強化學習透過獎勵訓練模型,工作節點生成由模型輸出、動作和環境互動組成的 rollout;框架評分後更新模型權重,再把權重傳回工作節點進行下一輪訓練。
DDP 在每張 GPU 保留完整模型狀態,以較低通訊量換取較高顯存佔用;FSDP 分片模型狀態以節省顯存,但增加通訊量。按每參數約 16 bytes 的模型狀態估算,80 GB H100 預留 20 GB 給激活值時,DDP 的上限約為 3.75B 參數。
人類評審透過比較 AI 回應、指出錯誤及缺漏,協助開發者改善大型語言模型的回應品質、準確性和指令遵循。回饋成效並非必然,亦受評審對任務的理解、評估標準是否清晰及審核是否一致影響。
Hitachi Vantara 認為,將 AI 從試點推向正式部署的主要障礙在於數據,而非 GPU,並押注具備智能功能的儲存技術協助解決問題。上週,公司擴展 VSP One,加入物件儲存及數據湖倉功能,可識別含個人資料的檔案,亦支援直接查詢 Apache Iceberg 格式的資料。
跨雲訓練工作應在分配 GPU 前,按實際作業規模預檢數據讀取、工作節點互傳和 checkpoint 寫入,避免網絡或儲存瓶頸令加速器閒置。檢查應模擬並發讀取、all-reduce 或 broadcast、實際大小的 checkpoint 寫入,並核對端點 DNS、配額及事先訂明的門檻。若未達標,可調整工作位置、先把數據暫存至運算附近,或縮小工作規模;預檢結果應隨每次作業記錄。
作者分享租用雲端 GPU 微調克里米亞韃靼語模型時的成本教訓,指出填充運算及周邊流程故障會增加訓練費用和耗時。短對話填充至 seq_len = 1024 時,有用 token 比例約為 5%;採用 packing 後升至 99%,第二階段成本由舊方法估算的 $331 至 $413 降至 $14 至 $17。文章亦提出按實際處理量估算成本、按工作時長設定檢查點,以及在本機完整演練訓練流程等做法。
美國收緊 AI 晶片出口管制後,中國科技企業同時面對海外雲端算力存取須申請許可及部分晶片出貨暫停。Moonshot AI 取消與印尼一家雲端供應商價值 $150 million 的合約,原計劃明年租用 Nvidia Blackwell Ultra B300 集羣訓練 Kimi K4。
推薦理由:文章串連第三國雲端算力須申請許可、部分晶片出貨暫停及融資承壓等報道,呈現出口管制對中國科技企業取得 AI 算力的多重影響。
EverXCloud 公開免費 LLM VRAM 計算器及 GitHub 原始碼,並説明其估算推理、微調和圖像模型記憶體需求的公式。推理估算將權重與 KV cache 相加後計入額外開銷;例如 70B 模型在 BF16 下,權重需要 140 GB,尚未計入 KV cache 和額外開銷。多 GPU 估算未計互連和框架開銷,結果只適合作規劃參考;長租前應在目標 GPU 上測試。
Holyvolt 創辦人兼 CEO Mathias Ingvarsson 討論公司如何結合機器學習與實驗,推進電池材料開發及由預測走向驗證和規模化生產。Holyvolt 收購 Wildcat Discovery Technologies,並利用其涵蓋超過 500,000 個電池、歷時 18 年及 165 million 次循環的實驗數據建立 AI 電池研發平台。