微調 NVIDIA Nemotron,讓模型掌握當地規則,而不只是當地語言
NVIDIA 探討如何微調 Nemotron,讓模型掌握當地規則,而不只是當地語言。隨着 AI 在不同語言和文化中的應用擴展,通用語言模型有時缺乏特定應用所需的本地知識、文化細節和準確度;合適的數據和評估可協助透過後訓練調整開放模型。
NVIDIA 探討如何微調 Nemotron,讓模型掌握當地規則,而不只是當地語言。隨着 AI 在不同語言和文化中的應用擴展,通用語言模型有時缺乏特定應用所需的本地知識、文化細節和準確度;合適的數據和評估可協助透過後訓練調整開放模型。
Anthropic 的商業產品輸入和輸出預設不會用於模型訓練;用戶提交評分意見或明確同意使用資料後,相關聊天和編碼工作階段則可能用於訓練模型。提交評分意見時,Anthropic 會在安全後端儲存整段相關對話,最長 5 年,並在使用前解除資料與用戶及客戶 ID 的連結。Team 或 Enterprise 計劃的擁有者可在組織設定中停用提交意見的功能。
C-BRAIN 與 NVIDIA 合作,運用 AI 支援阿茲海默症研究,目標是加快研究發現,推進新治療所需的科學工作。其已建構 OpenScientist 和 InsightEngine 兩項開源智能體 AI 工具,分別用於生成及分析研究假設,以及對照科學文獻、用戶提供的數據集和生物醫學知識圖譜核驗主張。
Smartling AI 副總裁 Olga Beregovaya 在訪談中談及多語言 AI 的差距、翻譯品質與人工監督,並指出訓練資料對語言及文化的代表性會影響模型表現。
Ben Horowitz 認為,Databricks 正以 Lakehouse、Lakebase 和麪向智能體的記錄系統,支撐企業工作模式轉變。文章回顧 Spark、Lakehouse、Lakebase 到智能體的技術演進,並稱 Databricks 的收入年化運行率已超過 $7 billion,按年增長 80%。
大型語言模型預訓練透過大量模型 token 序列優化神經網絡,讓模型在特定任務適配前學習可重用的語言、事實及程序模式。流程包括整理及分詞語料、抽取序列組成訓練批次、以自監督目標預測 token、在分佈式硬件上反向傳播損失,以及保存檢查點並評估能力。文章亦將預訓練與教導模型遵循用戶要求的指令微調區分,指出兩者的成效證據、成本主因及風險控制各有不同。
預測式 AI 結合人類專業知識,可協助商戶管理波動的支付手續費,並將數據分析轉化為實際費率下調。AI 模型可分析交易數據及標示費用異常,但判斷費率是否合理、與支付處理商協商及跟進減價,仍需人類專業介入。
瑞士生物科技初創 Atlas Bio 正式亮相並披露累計 $12.5 million 融資,其中 $10 million Seed 輪由 Creandum 領投,另有 First Momentum Ventures 和 LEA Partners 領投的 $2.5 million pre-Seed 輪。
資金重回機器人板塊,行情主線由硬件本體轉向物理 AI 所需的高質量具身數據,數據採集設備與數據服務商成為市場關注焦點。浙商證券估算,具身基礎模型至少需要千萬小時級真實數據,目前全球可用的高質量真實數據僅數十萬至百萬小時級。數據相關公司的股價表現突出,但部分企業的數據採集業務仍處於客戶導入階段,尚未轉化為業績增長。
Open3DLab 等網站稱,帶有 Roblox 標識的爬蟲於 2026 年 10 月 15 至 16 日下載 1,027 個檔案,共 145.5 GB,包含成人內容。
Marvin Okafor 在膝部 MRI 競賽尚餘 7 天時加入,用 Kaggle 免費雲端運算約 6 小時完成模型,公開排行榜得分 0.919,約 9 分鐘處理約 1,300 張測試掃描。
意大利深科技公司 Agora Labs 獲 €4.3 million 融資,用於擴展支援醫學研究的臨牀數據基礎設施。該公司在醫療機構內處理及標準化臨牀數據,並以匿名化及聯邦式 AI 技術連接醫院,讓研究人員跨機構分析數據而不直接存取患者紀錄。Agora Labs 現有 50 間醫療機構組成的國際網絡,計劃未來數月把規模擴大一倍。
Remote 行政總裁 Job van der Voort 表示,AI 公司對獨立合約工作者的需求大幅上升,不少博士受聘標註數據並為模型提供反饋。相關工作起初以簡單標註為主,如今不少博士會一邊研究、一邊承接這類工作;他預期市場未來幾年會繼續增長。Van der Voort 説,Remote 尚未見到一般客戶加快或放慢招聘,AI 公司則增長迅速。
阿里雲瓴羊 Dataphin 以「治理即研發」將數據標準和質量規則前置至建模流程,並以 AI 引擎減少重複開發工作量。敏捷版支援按模組訂閲,月費約 2000–3000 元,初始搭建一次性投入可控制在 3–5 萬元,約 3 周跑通首個業務場景。
AI 生物科技公司 Rivercell 宣佈完成 2,200 萬歐元種子輪融資,由 HV Capital 領投,Alven Capital、Bpifrance 與 Hardware Club 跟投。Rivercell 專注構建 AI 虛擬細胞(AIVC)世界模型及自動化細胞反應數據平台,利用多模態單細胞擾動數據訓練細胞仿真模型,預測藥物或基因幹預下的人體細胞動態變化。
David Buchan 微調 YOLO26n-cls,讓模型判斷交易直播截圖是否顯示已成交倉位。流程以本地 faster-whisper 的語音線索篩出候選影格,再由 Ollama 上的 qwen2.5vl:7b 草擬標籤;語音和影像一致後,作者逐格核驗訓練資料。
數據公司「智能知識」(HumanIntelligence)旗下專家社區一面千識(MeetChances)發佈「千識fellow·AI領航計劃」,擬投入5000萬元,邀請研究者、行業專家與 AI 研發團隊協作。
S3AC 提出一種用於 LLM 長鏈式推理的 Actor-Critic 訓練方法,透過難度感知提示詞採樣,在不依賴分組 rollout 的情況下改善訓練。它結合 token 級優勢估計與提示詞級基線,在 1.5B 至 397B 參數的稠密及混合專家模型上提升分組 rollout 表現,勝過 GRPO-X;在 35B 規模下亦可持續單次 rollout 訓練。
行元智能發佈面向機械人預訓練的跨本體數據引擎 Chorus(Chorus眾行),將不同來源的人類操作示範納入統一數據處理管線,並以共享的中間表示轉化為適配不同機械人本體的訓練數據。當前測試配置下,Chorus可實現約40倍的有效訓練數據擴容。
這個 AI 客服工單分流示範在 Banking77 測試集上自動處理 75.9% 的工單,這些工單的準確率為 97.7%。示範使用 10,003 條訓練訊息和 3,080 條測試訊息,模型採用詞語及字元 TF-IDF 特徵、邏輯迴歸與校準機率,沒有使用大語言模型或 GPU。
AREX 研究團隊發布基於 Qwen3.8-27B 的 AREX-2,使用機器學習與演算法編程場景的長程反思數據訓練模型,並在多項基準取得領先成績。
Ropedia 在首屆 Ropedia Super Week 集中發布六項研究,探討如何把人類第一視角經驗轉化為機器人學習與操作所需的數據。研究涵蓋 Ropedia W0 的跨本體影片預測、HoliWorld 的物體交互資料整理、EgoXperience 的聯合重建、S-Agent 2.0 的空間工具使用、DONIC 的雙手協作,以及 Ropedia A0 的純程式碼策略。
正則化透過在損失函數加入懲罰項,抑制模型複雜度,減少過度擬合並提升對新資料的泛化能力。指南説明 Ridge、Lasso 和 Elastic Net 的正則化方式,以及 alpha 如何控制懲罰強度。內容亦解釋學習率與特徵正規化、標準化在模型訓練中的作用。
科大訊飛在全球1024開發者節提出把模型部署到更貼近用戶與數據的位置,以雲端教學、本地處理為主軸推進端雲一體佈局。雲端星火 X2.6 採用 293B 總參數、30B 激活參數的 MoE 架構,上下文拓展至 1M;訊飛公佈的測評中,星火 X2.6-4B 的端側智能體任務覆蓋度為 41.9%。
AI公司的數據採購正由互聯網語料擴展至專業人才生產的資料及企業營運記錄,價格則隨專業門檻、稀缺程度和可驗證訓練價值而分化。Google曾開價1000萬美元購買Spirit Airlines的內部記錄;micro1則計劃在未來12個月投入10億美元,採購企業營運數據或取得授權,並將其轉化為強化學習環境。模型公司的數據支出尚缺統一披露口徑,預算取決於目標能力、現有數據缺口,以及不同數據帶來的額外收益。
菲爾茲獎得主、芝加哥大學數學系教授鄧煜批評 AI 公司以防蒸餾為由拒絕公開思維鏈,認為公司不能一面蒸餾全人類知識、一面拒絕公開相關資訊。鄧煜提議開源數學模型,並按學術規範處理數據使用、思維鏈公佈及可追溯性。
作者在支援工單分類測試中發現,提示詞末尾的空格令 300 次輸出中有 41 次格式錯誤;移除空格後,錯誤減至 3 次。BPE 通常把空格併入下一個詞的 token,單獨結尾空格會形成模型訓練中少見的邊界,可能引發多餘空格、大小寫錯誤、詞片段或換行。文章建議移除補全提示詞及助手預填內容末尾的空白;無法控制邊界時,可使用 token healing 或受限解碼。
Q Labs Research 推出 Dust 零階優化演算法,僅靠前向傳播即可預訓練 Transformer,並在預訓練任務上達到可與反向傳播抗衡的水平。基於 FineWeb 的實驗涵蓋 2M–243M 參數模型及最高 20M Token,Dust 比 EGGROLL-Transformer 效率提升千倍至萬倍。現階段 Dust 的整體計算開銷仍高於反向傳播,尚非可直接取代反向傳播的工程方案。
Baseten 推出 BDN Sealed Volumes,讓用戶把唯讀資料封存為不可變版本,並掛載至不同部署。每個版本以內容雜湊值識別,部署固定引用該值後,各副本便會掛載相同的唯讀資料。BDN 按內容雜湊重用未變更區塊,並在容器啟動後按需串流資料,毋須預先下載整個 volume。
WorkFactory 從專業意圖建構連貫且可執行的工作任務,支援大規模智能體訓練。研究團隊以涵蓋 612 個職業的 112,686 項任務微調 Qwen,推出 4B、27B 和 35B-A3B 規模的 WorkPilot 模型。WorkPilot-35B-A3B 在 GDPval-AA v2.1 的 Elo 評分由 879 升至 1565,數據和模型均可取得。
論文提出 SimpleLoRIF,以梯度對齊找出會削弱大語言模型安全性的微調指令資料,並據此建立移除梯度最貼近不安全回應的 20% 樣本的 SafeTulu。在 Qwen、Llama 和 Olmo 上以 SafeTulu 訓練,GCG 攻擊成功率最多下降 22%,同時大致保留甚至提升模型能力。
使用 Muon 訓練混合專家(MoE)語言模型會加劇首個 MoE 層的路由失衡,其他層受影響較小。在活躍參數為 55M 和 108M 的模型中,首層偏置跨度在每個隨機種子下均上升,平均約增至兩倍;從路由器輸入中減去批次平均值可消除過載,而降低較小模型的 Muon 學習率亦能消除大部分增幅。此規模下,將路由器改用 AdamW 會令負載變化更大,結果較支持讓路由器繼續使用 Muon。
作者提出一套分階段評測 AI 助手資料答案的方法,從可信查詢開始,再按團隊規模加入不依賴標準答案的檢查、每週抽樣及經人手校準的 AI 評審。文章引用研究審核結果,指出 BIRD Mini-Dev 有 52.8% 題目存在標註錯誤;121 道提供參考查詢的 Spider 2.0-Snow 題目中,66.1% 有錯。文中亦建議固定模型版本並記錄每次測試,金額類問題不可只交由 AI 評審判定。
DigitalOcean 推出 Learning Services 和 Agent Data Services,協助開發者建置、評估及持續改進 AI 智能體。Insights、Signals 和 Evaluations(包括 Simulations)已開放公開預覽;Inference Router 最佳化及 Agent Data Services 則處於私人預覽。
指南展示如何透過搜狗公開文章搜尋,在毋須登入微信帳戶的情況下搜尋及擷取微信公眾號文章。一次測試以四個關鍵詞在 46 秒內取得 120 篇文章,來自 115 個帳號;另一輪擷取的 12 篇文章中,有 10 篇取得全文,字數中位數為 1,625 個中文字。搜尋結果每 1,000 篇收費 $2,全文每 1,000 篇收費 $5,另每次執行收費 $0.001。
普林斯頓大學與 Meta FAIR 團隊提出 Self-Direction,將智能體執行錯誤轉化為低秩 adapter 更新,讓修正可在後續工作階段按需使用。在 GAIA、Claw-Eval 和 Terminal-Bench 2.1 上,任務完成率較標準上下文反思基線高 8.9 至 17.0 個百分點。這個方法僅更新約 0.02% 的參數,並凍結基礎模型權重。
英國 AI Security Institute 團隊以 ESM-2 蛋白質語言模型評估預訓練數據過濾,發現此方法可選擇性抑制病毒蛋白質相關能力,同時大致保留非病毒蛋白質能力。但以被排除的病毒數據微調可完全恢復該能力,即使最大、參數量為 3B 的模型,所需 H100 計算成本亦約 $80;相關數據通常公開可得,因此單靠過濾不足以構成穩健防護。
iMerit 推出 iMerit Scholars 平台,整合專家招募、配對、項目安排及付款,以支援專家主導的 AI 訓練與評估。現有 Scholars 計劃涵蓋 118 個國家、106 種語言的逾 30,000 名受邀及審核專業人士。平台旨在管理數十萬名專家;Ango Hub 則提供專家貢獻轉化為 AI 數據的工具與工作流程。
文章以 f(x)=20+10x 解釋大模型的函數結構,並以 GPT-3 説明將 TransformerBlock 重複套用 96 次的函數複合。文中指出,GPT-3 有 1750 億個參數;訓練會調整參數,推理則使用固定參數。文章並以定義域和高維外推説明,輸入超出訓練分佈時,模型仍可能輸出缺乏依據的答案;損失地形圖則只是高維空間的低維切片。
Jack Clark 在 Import AI 478 中整理數學形式化、程式重建基準和 Mirendil 模型訓練等進展,並探討它們對 AI 對齊及研究自動化的意義。