如何在 c0mpute 上利用連結訓練 saas-business-strategist-agent 並發布到 Hugging Face
作者展示如何由連結建立語料,在 CPU 上以 LoRA 微調 SaaS 商業策略模型,並將模型發布到 Hugging Face。底模為 Qwen2.5-0.5B-Instruct,訓練語料包含 3,615 篇貼文;模型在 4 個 CPU 執行緒上訓練 400 steps,峯值 RAM 為 2.4 GB,留出集困惑度由 44.5 降至 28.6。
作者展示如何由連結建立語料,在 CPU 上以 LoRA 微調 SaaS 商業策略模型,並將模型發布到 Hugging Face。底模為 Qwen2.5-0.5B-Instruct,訓練語料包含 3,615 篇貼文;模型在 4 個 CPU 執行緒上訓練 400 steps,峯值 RAM 為 2.4 GB,留出集困惑度由 44.5 降至 28.6。
AI 基礎設施擴張的瓶頸不只在電力供應,而在發電、電網、散熱、儲存、封裝、資本和地方許可等環節的建設速度。文章梳理瓶頸由 GPU 轉向 HBM、CoWoS,再延伸至變壓器、燃氣輪機和並網排隊,並指出效率提升仍伴隨 AI 使用量和訓練算力增長,推高總用電需求。吉瓦級數據中心約兩至三年可建成,但大型變壓器交付最長四年、燃氣輪機交貨超過三年,呈現芯片、機房和電網建設節奏的錯配。
ID2Pattern 以身份行為模式而非身份值進行預訓練,讓支付風險模型可從交易序列學習,並推廣至推理時首次出現的卡片。框架以 Local Anonymous ID(LAID)編碼身份在序列中的重現模式,再用向量量化從無標籤交易序列預訓練多尺度模式碼本,供風險評分使用,無須為新身份擴大詞彙表或重新訓練。
Yann LeCun 和 Randall Balestriero 稱,他們已將「柏拉圖式表徵假説」在 JEPA 模型家族中證明為定理:分別以不同模態訓練的 JEPA,只要獲得合適的觀察,就能學到相同表徵。
HKGAI、度小滿及香港科技大學推出「軒轅4.5」金融增強大模型,稱其為業界首個具備自我進化能力的金融大模型。模型採用遞迴自我改進(RSI)技術,在拓展客源、風險管理及客戶關係管理等場景的表現提升30%,運算成本僅為通用模型的10%。
作者的財務 AI 訓練配方揭示,8B 模型遇上缺失的財務變數時可能觸發「薪酬幻覺陷阱」,令流程出錯。改用標準 2D Markdown 和 3 階段空間推理後,模型在分佈外企業文件上的工具呼叫準確率達 99.4%。訓練採用 QLoRA,並以單張 16GB–24GB VRAM GPU 執行。
數據治理反覆失效,症結在於源端與末端權責不清、整改規則未能迴流,並非單靠末端清洗就能解決。中翰軟件提出雙端治理框架,由源端以標準、技術和行為約束減少髒數據,末端分層校驗、追溯數據血緣,並把整改規則迴流源端。文中指出,單靠數倉末端補救的問題解決率約為 50%,管控前置到業務源頭則可達 95%。
以產品目錄中的單向句子微調模型,未必能令它從相反方向回答同一事實問題,研究人員將此現象稱為 reversal curse。2023 年由 Lukas Berglund 領導的研究發現,模型在虛構句子的反向提問測試中,表現不優於隨機猜測;文中亦指出,GPT-4 知道 Tom Cruise 母親身份的比例約為 4/5,但給出其母親姓名後,答出她兒子是誰的比例約為 1/3。
作者以模擬房間示範,未記錄的門開關狀態會令四權重模型失準,而加入一個潛在欄位後,模型可從温度變化捕捉這項隱藏動態。訓練沿每段序列前向計算,再以時間反向傳播更新欄位;在 4,800 次轉移的數據上,模型損失為 0.172,接近門狀態延遲一個步驟才可見時的 0.174 基準。
MaxCompute 透過存儲接入、計算推理及治理索引三層能力,支援 PB 級離線 AI 語料清洗、多模態解碼、批量向量化及可信樣本交付。使用前提包括符合離線批量處理節奏、依賴 MaxFrame 生態、啟用向量能力,以及具備 GPU 配額和鏡像管理。它定位為語料產線的編排與治理中樞,不替代實時引擎或專用模型服務。
京東零售視覺多模態與 AIGC 團隊聯合南京大學提出 Road MOPD,透過跨教師回饋與梯度投影,減少多教師蒸餾中的跨領域更新衝突。在 Qwen3-4B 上,相較 Vanilla MOPD,數學+醫學及程式碼+醫學兩組高衝突設定均實現雙域共同提升,醫學均分最高提高 8.78 個百分點;數學+程式碼組合亦有提升。
寧德時代創始人曾毓羣在2026世界頂尖科學家論壇分享公司以AI加速能源材料研發的進展:AI可利用超600TB基礎數據及1萬億條測試記錄,篩選千種化合物並鎖定7種潛力材料。他指出現時AI能力仍不足,亟需更多科學家與先進模型協同攻關。
人工智能技術演進帶來訓練數據利用、生成內容責任及智能體參與交易等知識產權新問題,制度規則需兼顧創新激勵與權利保護。文章主張按技術環節和利用方式分類制定規則,訓練端適度放寬、生成端從嚴把關,並讓責任配置與各方控制能力相匹配。治理應由結果審查轉向過程治理,建立可追溯、可檢查的具體標準。
中國人民大學教授楊翰方指出,未來數據需求可能更多來自智能體調用,數據或以服務形式直接創造價值。上海正推動公共數據產品化,平台已有215家數商入駐、接入7716個授權目錄,累計開發175個基礎數據產品。高質量數據集的評價標準、數據產權保護及流通規則仍待完善。
北京數據與評測基礎設施公司簡智機器人宣佈完成新一輪1億美元融資,約合人民幣6.65億元。本輪由上汽集團、百度集團等產業方,以及光合創投、中信金石投資等財務方共同參與。公司專注於多模態數據採集與治理技術,此前已完成多輪融資。
華依科技表示,將積極拓展智駕核心產品的應用邊界。公司指出,2026年物理 AI 訓練數據採集已成為 IMU 行業的重要新興增量賽道,而高質素真實物理交互數據短缺是制約物理 AI 模型迭代的關鍵瓶頸。其 IMU 產品可輸出連續、無遮擋的運動時序數據,彌補純視覺方案在運動解算上的不足。
OpenAI、Google、Microsoft於2026年10月30日宣佈,將支援以robots.txt中的__usage_ai-training統一設定網站內容能否用於AI訓練。
國家數據局近日召開行業高質量數據集建設鏈主工作座談會,提出以需定供、以用促建、以評提質,推動數據集建設。會議要求摸清人工智能用數需求、建立利益分配和商業回報機制、加強應用反饋與產業鏈協同,並推動數據集接入國家數據基礎設施。測評服務將轉向工具化、訂單化模式,以縮短測評週期、降低成本並提升效率和交付能力。
無錫(惠山)國產智算中心一期 2000 卡投入運作僅三個月便滿載,已有 20 多家客戶在平台測試或開展正式業務。摩爾線程、無錫市惠山招商集團與新石器慧通簽署戰略合作協議,新石器將以摩爾線程全功能 GPU 擴大自動駕駛模型訓練,需求規模接近萬卡級。平台訓練業務佔比超過 62%。
Sakana AI 宣佈開始自行開發預訓練模型,並計劃讓語言模型與世界模型協作,透過 AI 科學家的自我改進循環提升模型。首席科學家秋葉拓哉公佈語言模型系列「Sakana Sawara(暫稱)」。首個小型模型「Sawara Small(暫稱)」如進展順利,預計於2027年春季公開。
manifest 聲明結果包含哪些對象及版本,校驗和驗證內容有否改動,兩者協作讓重跑結果逐字節一致,並可由第三方核對。文章説明如何透過哈希鏈連接每輪 manifest,並以對象級和批級校驗定位不一致。最後提供構建與驗證腳本及五項實操檢查。
面向火星、木衞二及月球等行星地質勘測任務的極端稀疏觀測,文章構建並測試自監督時間模式挖掘流程,以處理不規則、缺乏標註的時序資料。流程採用偏向較大時間間隔的遮罩策略,在合成稀疏基準測試中令下游邊界檢測召回率提升約 18%,並結合時間對比損失與預測編碼。
研究提出柏拉圖表徵定理:若正樣本配對是同一場景的不同觀測,且其他情況下錯位有界,分開訓練的多模態 JEPA 可學得僅相差一次旋轉的相同表徵。研究以 145k 條圖片説明及 940M 張網頁圖片的文本驗證理論,並發現良好視角達到同等對齊所需樣本比下一 token 預測少 42 倍。
學習 AI 應先掌握線性代數、微積分、統計及數據清理,再透過親手做項目理解模型,避免只看教學而陷入教程陷阱。指南建議用 NumPy 和 Pandas 處理數據,並在 Kaggle 查看公開 notebooks、使用免費雲端 GPU;另應選定一個感興趣的子領域,持續數月,每日編程 45 分鐘。
WebHarbor 提供 153 個可執行、以 Docker 容器化的網站環境,用於穩定評測 GUI 智能體及進行強化學習訓練。這些環境在確定性控制下重建真實網上服務的介面、內容和功能流程,涵蓋 3,518 項任務,包括多步驟及登入後流程。
DepthGraft 以階層式 KV 共享架構,從較淺及中間層重建深層 KV,改善深層語言模型訓練,同時減少 KV 快取用量約三分之一。研究在參數規模由 0.5B 至 16B 的 dense 及 MoE 模型上,於 GQA 和 MLA 下均取得下游表現提升;在 16B MoE 模型上,MMLU-Pro 絕對提升 7.0%,CMMLU 提升 6.6%,C3 提升 6.4%。
Dory1.0-4B 是具彈性深度的 4-billion-parameter 循環式語言模型,透過重複使用共享區塊調整推理計算量,以 6 trillion tokens 預訓練,並將上下文長度延伸至 256K tokens。
邏輯迴歸透過 sigmoid 函數將輸出轉換為概率,再映射至離散類別,可用於二元及多類別分類。文章説明二元、多項及序數邏輯迴歸,並概述其優缺點,以及 L1、L2 和 Elastic Net 正則化如何影響模型係數與過度擬合。
Ilya Kalinin 開發 Rust CLI xrun,將跨平台訓練的啟動、數據上載、指標追蹤和 checkpoint 取回整合為一套流程。它支援 vast.ai、Kaggle、Lightning AI、Google Colab、SSH 自有伺服器及本機,並可先在免費 Kaggle GPU 做 smoke test,再轉到付費訓練。
NASA 正在研發面向月球南極探測任務的 SPEARS 固態電池,以提升電池對極端温度和真空環境的適應能力。小型原型電池在 80℃至-60℃範圍內正常工作,在-80℃仍可運行;經歷 100℃至-170℃的温度極值後沒有受損,經小型加熱器恢復至工作温度後可重新運行。
學習率排程會在訓練初期採用較大的步長,接近低點時逐步縮小,以減少噪聲造成的反彈。示例中,每 10 步將 0.45 減半的排程,60 步後與低點相距 0.07;在 2,000 組噪聲序列中,最後 10 步平均距離為 0.09,優於固定大步長的 0.49 和小步長的 1.31。文章亦示範如何在 PyTorch 使用 StepLR。
Pitjantjatjara 藝術家 Sally Scales 指,AI 正挪用澳洲原住民藝術並製造「Temu 劣質作品」,削弱藝術家的自主權及作品真實性。澳洲視覺藝術界團體稱,作品遭 AI 改動、移除作者姓名後出售,造成文化及經濟傷害;Temu、Shein 和 Amazon 上亦有無署名的原住民風格商品。
Adam 會按每個參數梯度的歷史幅度調整更新步長,避免所有參數共用同一設定時,陡峭方向更新過大、平坦方向進展緩慢。它結合動量與梯度平方的移動平均,並以偏差修正後的平均梯度除以平方根平均平方梯度來計算更新。文中兩個梯度相差 50 倍的參數首步都移動 0.1;在原始、陡 100 倍及平 100 倍的曲線上,Adam 均在 71 步時進入距離底部 0.05 的範圍。
文章以汽車工廠類比説明 LLM 因果語言模型的訓練流程,涵蓋下一 token 預測、交叉熵損失、反向傳播與優化器更新。文中以只有兩個候選 token 的 Python 範例演示一次參數更新,並指出訓練損失下降本身不足以證明模型能泛化或提升實際回答品質。
賽迪研究院發布的《新域新質創新發展十大趨勢》指出,中國人工智能推理數據量首次超過訓練數據量,並將此視為人工智能進入規模化產業應用階段的標誌。截至 2026 年 6 月,日均 token 調用量超過 175 萬億,較 2024 年初增長 1000 多倍;頂尖大模型迭代週期由數月縮短至數週甚至數天。
2026年11月1日,賽迪研究院發布《新域新質創新發展十大趨勢》報告,指出截至2026年6月,我國人工智能推理數據量首次超過訓練數據量。日均 token 調用量達175萬億,較2024年初增長超1000倍,大模型迭代週期縮短至數天。
Munim, Inc. 的稽核發現,Global-MMLU 的中文及韓文高中世界史資料列存在與 OpenAI MMMLU 相同的錯位。中文有180/237列(75.9%)、韓文有113/237列(47.7%)錯位;答案鍵仍對應各列實際題目,因此準確率不受影響。
文章探討機器學習是在從例子中辨認統計模式,還是能掌握並重用背後的原則,將知識應用於未遇過的情況。作者以兩名開發者準備編程面試作對比,並從零實作 Linear Regression,理解模型如何透過 Gradient Descent 調整參數。
DepForecast 是一款本機開源 CLI,旨在預測專案的 npm 依賴套件在未來 12 個月內被棄用的風險,並解釋原因及提供支援建議。目前資料收集、時間驗證和防止資料洩漏的機制已建成並測試,涵蓋 3,719 個 GitHub 儲存庫;TabPFN-3.5 預測器及 Gemma 解釋功能仍在計劃中。
這項研究探討語言模型資料歸因方法失效的原因,指出現有評測往往同時改變多項數據集屬性。研究提出 CATT 受控事實追蹤基準,透過完全虛構的知識進行微調,並設定明確的真實答案。此類受控合成基準可用於評估研究進展,再進一步檢視真實且受多種因素幹擾的訓練數據。