寵物面部識別如何提升魯棒性:多策略融合與邊緣部署實踐
文章探討如何提升寵物面部識別在複雜光照和多變姿態下的魯棒性,並兼顧邊緣部署。策略包括數據增強、光照歸一化、姿態校正、注意力機制、多任務學習及模型輕量化。部署方案涵蓋知識蒸餾、INT8 量化與剪枝,並提出以增量學習和在線微調適應寵物外觀變化。
文章探討如何提升寵物面部識別在複雜光照和多變姿態下的魯棒性,並兼顧邊緣部署。策略包括數據增強、光照歸一化、姿態校正、注意力機制、多任務學習及模型輕量化。部署方案涵蓋知識蒸餾、INT8 量化與剪枝,並提出以增量學習和在線微調適應寵物外觀變化。
Wikimedia Foundation 在涉及 The New York Times、OpenAI 和 Microsoft 的一系列 AI 版權訴訟中提交法庭之友意見書,主張保障以受版權保護作品訓練的 LLM,但不應容許聊天機械人向用戶重現作品。基金會認為,未經授權使用作品預訓練 LLM,並產生有別於原作的新內容,可構成合理使用;若 AI 輸出取代原作並減少讀者接觸原文,則應取得授權。
文章梳理中國 8 家 AI 公司的 11 位數據與評測核心負責人,指出數據正由業務流量副產品轉為影響模型能力的核心基礎設施。文中比較字節、騰訊、阿里等公司的部門調整與分工,並聚焦外部採購、合成數據、專家知識及評測體系。
EleutherAI 與 Cerebras 合作分享 μP 實踐指南,説明如何在 Transformer 語言模型中實作、驗證及使用最大更新參數化。指南提供移植至 nanoGPT 的參考實作 https://github.com/EleutherAI/nanoGPT-mup,並介紹 coordinate check 和 μTransfer test。
EleutherAI 與 SynthLabs 宣佈在 GPT-NeoX 實作大規模偏好學習與後訓練功能,涵蓋 SFT、DPO、KTO、獎勵模型訓練及改良的監督式微調。團隊表示,GPT-NeoX 在 7B 和 13B 參數規模的後訓練中較 TRL 快 30-40%。相關偏好學習功能將納入即將推出的 GPT-NeoX 3.0。
EleutherAI 與 OpenMined 以 PySyft 示範,第三方可在不直接接觸模型或敏感數據的情況下,評估非公開 LLM 訓練數據中的風險。評估者以 TF-IDF 搜尋三種生物因子相關資料,在逾 200,000 份文件中標記約 60 份;EleutherAI 審查後,只向評估者提供結果摘要。
兩個使用相同數據和批次次序、但以不同隨機初始化訓練的 TopK 稀疏自編碼器(SAE),只有約 53% 的特徵共享。研究亦發現,SAE 越窄,跨隨機種子的特徵重疊越高;隨着 SAE 規模增加,重疊則會下降。
針對 SmolLM 2 135M 的實驗顯示,Product Key Memory(PKM)跳接轉碼器在部分規模下可與 TopK 轉碼器競爭,訓練速度更快。擴展因子達 x512 時,PKM 訓練較慢,基準模型的 FVU 表現更好。PKM 的可解釋性略高,亦能自然地將潛在特徵分組。
EleutherAI 與合作機構發佈 8 TB Common Pile v0.1 語料集,並同步推出以其訓練的 Comma v0.1-1T 和 Comma v0.1-2T 模型。兩款 Comma 模型均有 7B 參數,分別以 1T 和 2T tokens 訓練。EleutherAI 表示,Comma 的表現可與訓練規模相近、使用未授權數據訓練的模型相比。
研究團隊將 tyche 局部體積測量用於模型錯位偵測及機制異常數據點偵測,兩項任務的表現均不及其他策略。在機制異常偵測中,meta local volume 的平均 AUROC 為 0.380,meta local volume mahalanobis 為 0.572。團隊目前不打算繼續這方向的研究。
EleutherAI 提出 Attention Probes,以注意力層彙集語言模型的隱藏狀態,避免使用平均池化或只取最後一個 token。實驗顯示,其表現大致與平均探針或最後一個 token 探針相若,哪種方法較佳視乎數據集;增加註意力頭數通常有助表現,但亦會提高注意力權重熵。
EleutherAI 的 Deep Ignorance 研究發現,預訓練數據過濾可令 6.9B 模型在 WMDP-Bio 接近隨機水平,同時大致保留無關知識基準的表現。過濾模型即使以 300M tokens 專家標註的生物風險論文微調,WMDP 表現仍低於未過濾基線。但在提供論文摘要作上下文的開卷測試中,過濾模型表現接近基線,顯示數據過濾不能阻止模型利用上下文中的相關資訊。
EleutherAI 更新獎勵作弊研究進展,介紹以約 750 道編碼題和 26 種 exploit 建立的 djinn 測試環境。以 13 種 exploit 微調後,Qwen 3 32B 和 GPT-OSS 20B 在明確提示下都能找到約 35% 的未見 exploit;沒有明確提示時,GPT-OSS 20B 的比例約為 25%,Qwen 3 32B 則低於 5%。
EleutherAI 研究以 reasoning interpolation 配合重要性抽樣,監測模型訓練期間獎勵破解的早期訊號。在其實驗設定中,重要性抽樣早期將破解機率低估 2–5 個數量級,但估算趨勢對預測最終會出現哪些破解類型達到 perfect AUC。研究使用 SFT 而非實際 RL 訓練,且預測設定較容易,作者指出仍需在實際 RL 訓練中驗證。
HiRes 以區塊級寬維度 PostNorm 殘差連接,將殘差寬度與每層計算寬度解耦,提升 Transformer 訓練效率及下游準確度。擬合的 scaling laws 顯示,HiRes 的 FLOPs 效率提升 1.30 倍。以 OLMoE-1B-7B 預訓練 500B tokens 時,訓練 loss 低 0.0208,下游準確度高 1.14 點。
Cadence 於 2026 年 10 月 26 日宣佈 Maestro,這是一套可由客戶以自有設計與工作流程進行後訓練的晶片及系統設計 AI 模型組合。首批模型預計於 2026 年第四季提供部分早期存取客戶,整套環境可運行於 Cadence 雲端、公有雲或客戶自主管理的本地環境。
Dream 於週四正式公開並獲 $17M 種子融資,開始聚焦建築、工程及施工行業。其所稱的 built world models 以超過 100 million square feet 的美國實際獲批建築資料訓練,Dream 稱模型可產出承包商足以據以施工的圖紙。Dream 已在加州及德州的10個項目擔任法定設計責任方,並表示已支援總值 $20m 的房地產開發。
醫療 AI 應把臨牀人員的人工覆寫視為調查訊號,而非自動視為正確標籤,以識別模型、介面或工作流程的限制。分析時應記錄適當背景、按失效原因分類並檢視不同臨牀場景的模式,同時遵守私隱及治理要求。覆寫數據用於重新訓練前須經驗證、治理及評估;智能體系統亦應讓獲授權用戶中止行動、重新導向工作流程及撤銷權限。
Google Research提出 Sleep Framework,讓大語言模型透過清醒與睡眠階段持續學習新資訊,並整合記憶以避免遺忘舊知識。實驗中,模型可處理最長約 1000 萬 token 的上下文,並在未見語言的多階段持續學習中保持接近零的性能下降。框架在 AIME 24/25 等數學基準上取得更高準確率。
ML Experiment Cockpit 是一款免費、採用 Apache-2.0 授權的 JetBrains 插件,可在 PyCharm、IntelliJ IDEA、WebStorm、GoLand 和 CLion 內查看 MLflow、Optuna 及 W&B 的實驗資料。
Google研究團隊公佈「睡眠框架」(Sleep Framework),讓大語言模型透過清醒階段接收資訊、睡眠階段整合記憶並自我改進。框架以記憶鞏固和合成訓練樣本練習,將新資訊納入長期參數,同時避免覆蓋舊知識。實驗中,模型可處理最長約 1000 萬 token 的上下文,並在未見語言的多階段持續學習中保持接近零的性能下降,在 AIME 24/25 上取得更高準確率。
10月27日,谷歌研究團隊提出持續學習新方法「睡眠框架」,旨在解決大語言模型部署後知識難以更新及容易出現災難性遺忘的問題。框架模擬睡眠中的記憶鞏固機制,在「清醒」階段處理輸入並暫存短期記憶,在「睡眠」階段整合資訊、擴展參數、蒸餾知識,並以生成式「做夢」強化推理能力。實驗顯示,模型在1000萬token長上下文及多階段持續學習中保持性能穩定,數學推理等任務的準確率有所提升。
Google 研究團隊提出持續學習研究「睡眠框架」(Sleep Framework),讓大語言模型吸收新資訊時保留舊知識。框架把模型運作分為清醒和睡眠階段,透過記憶整合及合成訓練樣本提升自我改進能力。實驗中,模型可處理最長約 1000 萬 token 的上下文,並在未見語言的多階段持續學習中保持接近零的表現下降;在 AIME 24/25 數學基準上的準確率亦高於多種基線方法。
研究指出,權重正規化訓練的收益主要由有效學習率(ELR)軌跡驅動,並提出 AIR 排程。在 128 B-token Mixture-of-Experts 預訓練實驗中,AIR 的終端訓練損失較 cosine 排程低約 0.01,且超參數穩健性更佳。
人工智能語言公平研究聯盟發現,一個 AI 模型處理不同語言時,Token 消耗量最高相差 17 倍。即使只比較互聯網最常用的 20 種語言,Token 消耗量差距也達 1.5 至 5 倍,研究將額外成本稱為隱性的「分詞器税」。Token 消耗較多會拖慢 AI 回應並減少可有效處理的上下文內容;受訪研究者呼籲公佈各語言評估結果,並改進下一代分詞器設計。
Reddit 行政總裁 Steve Huffman 宣佈,平台將逐步轉向以登入瀏覽為主,主要為阻止 AI 模型爬取站內內容。2026 年第三季度,Reddit 日均獨立訪問用戶為 1.303 億,其中 7680 萬人以訪客身份瀏覽,佔 59%。首頁仍會開放予訪客,Reddit 接下來幾個月會在美國以外部分市場測試不同的訪問權限方案。
光儲 IoT 數據管線以邊緣協議轉換、雲端接入與流式清洗,再到模型推理及策略下發,處理多品牌設備協議異構、高頻遙測和電價預測等挑戰。實踐採用 MQTT、EMQX、Flink 與 TimescaleDB,並以 LightGBM 預測電價、由規則引擎和優化求解器生成充放電策略。模型輸出價格信號,策略引擎綜合設備約束及電網考核規則決定執行計劃。
清華大學聯合無問芯穹、智元提出羣體經驗學習(Collective Experience Learning,CEL)範式,並在由96台真實機械人組成的集羣中完成規模化驗證。CEL讓機械人除人類示範外,也能借鑑羣體中其他機械人的成功經驗,透過共享和累積經驗共同提升能力。
工業大模型競爭正由通用問答轉向生產現場,落地成效取決於數據治理、工藝約束及工程驗證。應用通常先從品質檢測、知識檢索和設備維護等範圍較清晰的環節開始,再逐步連接生產排程與工藝優化。跨生產線複製還需打通數據接口、協調人員責任,並以可核查的品質或效率改善驗證收益。
對馬來西亞 100 個大型網站的檢查發現,13 個網站在 robots.txt 中封鎖至少一種 AI 爬蟲,沒有網站封鎖全部 17 種。新聞網站封鎖情況最普遍,15 個中有 5 個封鎖至少一種;GPTBot 最常被封鎖,共有 9 個網站封鎖。100 個網站中有 74 個允許所有 AI 爬蟲,另有 13 個未讓檢查程式讀取 robots.txt。
Samsung Electronics 公佈截至 9 月 30 日的第三季度業績,收入為 KRW 195.3 trillion、營業利潤為 KRW 107.4 trillion,AI 伺服器對 HBM 和伺服器 DRAM 的強勁需求支撐記憶體業務。收入按季上升 14%,營業利潤上升 7%。晶圓代工業務的營業虧損較上一季收窄,但仍未扭虧。
Servin Osmanov整理克里米亞韃靼語語料建置經驗,指出一般語言識別難以排除詞彙相近的土耳其語,並以偵測本語言不會出現的形式補足。他將數千個可疑片段隔離而非刪除,並指出自動檢查仍須母語者覆核。在同一組 524 個評估提示詞中,新版本帶有土耳其語形式的拉丁字母 token 比例為 2.02%,前一版為 0.27%,相差 7.5 倍。
作者用三筆虛構資料説明,把未記錄的空白欄填成 0,平均值會算成 10 分;只計入兩筆已記錄資料時,平均為 15 分,並非三筆整體平均。交表給 AI 前,應先確認空白的含義,要求不要推測補值,並分別列出已用筆數、總筆數和未記錄筆數;文中示例數字為 2、3 和 1。
Zyphra公佈ZAYA1,並稱其為首個完全在整合式AMD平台上訓練的大型混合專家(MoE)基礎模型。Zyphra與AMD、IBM合作,使用AMD Instinct MI300X GPU及ROCm軟件堆疊訓練,IBM Cloud集羣提供基礎設施。
這篇 AI 每日摘要整理 7 則官方來源消息,聚焦 Mistral Large 4 開放權重、Alphabet 與 Microsoft 業績,以及 OpenAI 更新 Model Spec。
作者公開土耳其咖啡占卜符號數據集,收錄 40 個土耳其語及英語符號,並分列杯沿、杯側、杯底、杯柄附近和碟子五個位置的解讀。每個符號另附傳統説法及避免恐懼和預言式措辭的解讀,數據採用 CC BY 4.0 授權。
Reddit 計劃因應 AI 抓取,要求用戶登入才能完整瀏覽網站,並於本季在美國以外的部分市場開始測試。
SkyPilot 平台以機架感知調度將多節點作業放在同一 NVL72 機架,並採用 16 節點切片提升故障下的可用容量;節點不可用率約為 2% 時,可用容量較 18 節點切片多 27%(2,037 對 1,602 個節點)。
AuditFL 提出一個由區塊鏈支持的結算層,讓開放式聯邦學習的訓練輪次可供審計並受經濟規則約束,同時保留聚合器。該系統將訓練和聚合保留在鏈下,鏈上記錄內容識別碼及經濟狀態;在最多 200 個客戶端的測試中,AuditFL 保持 Plain FL 的學習軌跡,並在多種故障測試下完成輪次結算。
DAMI 為 GDN、GDN2、KDA、Mamba-2 和 RWKV-7 提出雙軸記憶初始化方法,聯合設定控制衰減係數的 A_log 與 dt_bias 初始值。100M 參數、5B tokens 的預訓練實驗中,五種架構的 RULER 檢索準確率平均較隨機初始化高 5.29–16.71,整體能力基本不變。這種方法無需增加參數或更改運算子,也不影響推理。