我試圖改良 InkMind 詩歌生成器,並選擇了 GPT-2
作者為自製詩歌生成器 InkMind 選擇 GPT-2,以便比較模型大小、文字切分方式和訓練資料如何影響生成結果。GPT-2 有 124 million parameters,並可在免費 Colab 執行;Qwen3-4B-Instruct 雖可能寫出更好的詩,但載入需要約 8 GB GPU 記憶體。
作者為自製詩歌生成器 InkMind 選擇 GPT-2,以便比較模型大小、文字切分方式和訓練資料如何影響生成結果。GPT-2 有 124 million parameters,並可在免費 Colab 執行;Qwen3-4B-Instruct 雖可能寫出更好的詩,但載入需要約 8 GB GPU 記憶體。
Omdia數據顯示,2026年第三季全球桌上型電腦、手提電腦及工作站出貨量約5,810萬台,同比下跌21.2%。DRAM及固態硬碟佔PC整機物料成本的比例,由通常約15%升至接近40%,相關組件價格上漲超過四倍。文章指出,AI數據中心需求推高零件成本,提前採購需求消退及渠道庫存亦令市場承壓;Omdia預計第四季出貨量同比下跌約24%,2027年全年或再跌約7%。
西部數據 2026 年 HDD 產能已全數售罄,2027 財年第一季度營收按年增長 55%。長期供應協議已簽至 2028 年,前七大核心客戶訂單可見度延伸至 2030 至 2031 年。管理層表示收入與出貨量仍受供給能力限制,文章指出 AI 訓練數據集、歷史版本、日誌、影片及備份等長期保存需求推高儲存容量需求。
文章提出一套基準評測流程,先以雜湊固定數據集、評分規則及評判提示詞,再預先登記評分者一致性門檻,避免輸入變動被誤認為進步。示例門檻為 0.6;Python harness 以 Cohen's kappa 衡量兩位評分者的一致性,雜湊漂移時回傳 2,未達門檻時回傳 3。文章亦披露內容屬 MonkeyCode 產品推廣,並稱其免費模型存取及伺服器選項可降低雙評分和託管成本。
HDD之所以成為AI時代的「數據終點站」,是因為近線硬碟以較低每GB成本和大容量,承接不常存取的温冷數據。雲端約80%的數據仍存放於HDD;2026年第二季,HDD全行業收入按年增長47%,出貨容量增長29%,每GB均價上升14%。供給方面,希捷和西數不打算增加硬碟台數產能,零部件擴產亦需時;東芝雖計劃擴產,短期仍難填補行業缺口。
一項新研究發現,部分語言使用 AI 模型所需的 token 遠多於其他語言,可能推高使用成本,研究稱這種差異為隱性的 tokenizer tax。在網絡最常用的 20 種語言中,token 用量最高者所需 token 是最低者的 1.5 至 5 倍;擴大至 200 種語言後,一款 AI 模型的 token 成本差距增加 17 倍。
Micro1 計劃在未來一年投入 $1 billion,取得企業內部工作資料並授權予 AI 模型開發者。Micro1 表示,單家中型企業的資料可獲 $100,000 至 $2 million;合作方式包括處理及授權資料、提供開發中的 AI 智能體並收集企業回饋,以及把特定時間點的資料環境交予模型開發者作模擬訓練。報道亦指出,員工未必能就其工作資料用於 AI 獲得補償,或參與相關決策。
阿里雲 ECS、PAI-DSW 和 PAI-DLC 在生成式 AI 項目中分別承擔輔助工程任務、交互式開發與多卡訓練,CPFS 則用於管理數據和實驗結果。針對批量推理時的視頻存儲異常,實踐完善了文件寫入檢測、結果校驗與任務恢復機制。25個階段性模型版本各執行17組測試,最終完成全部425項驗證任務,覆蓋率達到100%。
W3BS Training 推出「Teach an agent」功能,用戶可錄製自己在桌面完成任務的過程,檢視並遮蔽錄影後訓練小型模型,讓智能體建議下一步或經批准後執行。
阿里雲瓴羊Dataphin 2026版以語義知識圖譜、原生Data Agent和「治理即研發」架構,回應大型企業對機器可調用語義、治理流程嵌入AI能力及研發階段前置治理的需求。平台支援50餘種異構數據源,企業版年費為50萬至120萬元。它適合數據規模大、系統異構程度高,且希望推進數據治理與AI落地的大型企業。
企業要讓 AI 在業務中可靠發揮作用,必須同時治理數據與知識,避免數據品質差、知識散落或過時,令 AI 得出失準甚至危險的結論。中翰軟件透過統一主數據標準、按用途整理知識,並把治理融入業務流程,為 AI 提供可讀、可用的資料與知識基礎。
諾亦騰機器人(Noitom Robotics)宣佈完成 Pre-A+++ 輪融資,由河南投資集團旗下匯融基金獨家投資。公司總部位於北京,專注 Physical AI 全模態數據服務,為機器人本體企業、具身智能模型團隊及高校科研機構提供多模態訓練數據。本輪融資將用於加快數據基礎設施建設與技術迭代。
Q Labs 提出 Dust,透過在 Transformer 線性層輸出按 token 加入隨機噪聲,估算更新方向並訓練模型。論文報告指,擴大虛擬種羣後,Dust 在部分設定下的效果超過反向傳播;最大實驗規模為 243M 參數、20M token。SOTAAZ Lab 的第三方復現基本重現論文設定,但指出反向傳播使用更合適的優化器或在同一數據上多訓練幾輪後明顯領先,計算成本亦低於 Dust。
作者推出 Second Look,讓用戶按僱主的 2027 醫療計劃及五項回答,查看選擇最低保費方案是否適合自己。它以 758 人在 2024 年的實際醫療支出,對照三家僱主的 2027 計劃;最低保費規則選中實際最便宜計劃的比例為 82%,TabPFN 則為 79%。Gemma 4 在本機讀取計劃 PDF,TabPFN 預測下一年的支出範圍,程式碼計算費用;整個流程在本機運行。
AI 清理是運用人工智能模型清理資料、圖片或文字中的噪音、重複內容及標記錯誤,相關工作可在 Upwork、Fiverr、Sribulancer 和 Freelance.com 尋找。文章列出 Cleanformer、OpenAI API 等工具,以及每個項目 Rp 200 000 至 Rp 1 000 000 的常見收費。 freelancer 可從小型工作開始,建立專門檔案並收集評價。
資訊瓶頸(IB)把表徵學習描述為一種取捨:盡量壓縮輸入資訊,同時保留預測目標所需的資訊。它以互信息衡量壓縮與預測能力,避免只懲罰表徵的維度或範數;但高維連續變量的互信息難以估算。2017 年一項研究提出深度網絡訓練會經歷擬合與壓縮兩個階段,後續研究則指出壓縮現象會受激活函數及估算方法影響。
研究團隊提出 RoboCoach,以 CoachWorld 試跑長程任務並定位薄弱子任務,再引導人類定向示教、更新相應技能專家。三輪更新後,Franka 成功率由 13.3% 升至 75.0%,AgileX 由 40.0% 升至 83.8%;四條未見任務路線的平均成功率為 35.0%,均勻採集基線為 0%。論文見 https://arxiv.org/abs/2609.39685。
日本總合研究所與Preferred Networks簽署PLaMo授權合約,將於2026年10月起在內部部署 PLaMo 3.0 Prime,供全體員工在本地環境使用。日本總合研究所亦開始驗證以自有數據對PLaMo進行追加訓練,並計劃應用於金融系統開發與運維、社內行政等工作。
深圳超球面科技完成數億元天使輪融資,由君聯資本、某超一線美元基金、中科創星、商湯國香資本、華山資本WestSummit Capital及庚辛資本中國等機構共同投資,庚辛資本中國擔任獨家兼長期戰略財務顧問。
生成式人工智能服務提供者的版權侵權風險貫穿數據訓練、內容生成及分發營運全流程,介入程度加深亦可能加重侵權責任。現行規則在主體定性、注意義務配置及履行判斷上缺乏統一標準,令同類案件裁判尺度不一。治理建議涵蓋規則供給、裁判統一、平台自治與生態協同,並建立訓練作品付酬機制。
皮膚癌 CNN 模型在訓練資料以外的真實手機照片上,效能會由 ISIC 基準測試的 95% 跌至接近隨機水平,問題在於資料分佈偏移,而非模型容量。常見差異包括光線、拍攝比例及影像瑕疵;前處理可去除毛髮、校正光線並裁切影像。沒有真實照片標籤時,可用合成資料增強,低信心預測及罕見病灶則應交由人工分流。
SnoozeOps 是開源、以本機優先的 AI 數據清理工具,可自動檢查試算表中的可疑問題,並提出修正建議。工具結合統計檢測、TabPFN 及開放權重 Gemma 2 解釋異常;用戶可先審核修正,再匯出 CSV 和附有 SHA-256 簽署的 Markdown 審計記錄。
MV2 分析 ANLI 的 verifier_labels_R1-3.jsonl 檔案,從對抗輪次、模型錯誤、平局裁決和文本領域四個角度解讀 29,803 項人工判斷。29,803 行中有 29,765 行(99.87%)的標註者原始標籤符合驗證者嚴格多數;各輪中,R1 是唯一齣現殘留分歧的輪次。控制輪次後,類別仍影響驗證者的一致程度,文本領域的差異則幾乎消失。
DeepSeek 接近完成約 100 billion yuan(19.87 trillion won)融資,募資目標約為原定 50 billion yuan 的兩倍。
文章分享一套用於深海棲息地設計的私隱保護主動學習原型流程,應對低頻寬、低功耗、敏感數據及標註有限等限制。流程結合 Monte Carlo dropout 不確定性取樣、DP-SGD、8-bit 推理量化,以及聯邦訓練中的 top-k 稀疏化梯度更新。
香港科技大學(廣州)、西湖大學及中國科學院深圳先進技術研究院團隊提出蛋白質設計模型 Pinal,可按自然語言功能描述生成蛋白質結構,再據此設計候選氨基酸序列。模型以17億組蛋白質—文本配對合成數據集訓練,參數規模為160億;團隊對四類蛋白進行實驗測試,其中設計的 pinalH02 在體外固碳體系中令甘氨酸最終濃度達11.1毫摩爾每升,是天然大腸桿菌H蛋白對應組件的1.7倍。
Arqam Waheed 開發 Slabwatch,讓巴基斯坦家庭根據電錶讀數預測每月用電量會否超過200度的受保障門檻。作者估算,典型2 kW家庭一旦超標,七期電費單合計會多付Rs 32,338;以65個接近門檻的計費週期回測,第14日預警了38個超標週期中的31個,32次提醒有30次屬實。
Lipi-Ghor 研究提出大型弱監督孟加拉語語音語料庫,收錄 885 小時音訊,並附有説話者分離的長篇標註及 gold 評測集。語料來自 998 個 YouTube 影片、596 個頻道及 17 個領域,以自動説話者分離結合字幕製成 SSTT 標註;gold 評測集經 17 名志願標註者共 30 小時校訂,研究亦提供可複製的建置流程。
研究發現,預訓練語料與基準測試目標的詞彙對齊程度,能持續反映零樣本準確率。涵蓋 10 個零樣本基準、4 個預訓練語料及 3 種模型規模的實驗顯示,較低 UCE 對應較高準確率。按詞彙對齊程度挑選訓練文件可提升準確率,把提示詞路由至語料較匹配的 drafter 則可提升吞吐量。
多尺度策略最佳化(MPO)透過在回合尺度對齊信用分配與策略更新,改善長時程 LLM 智能體的訓練。MPO 結合多尺度優勢估計(MAE)與回合層級重要性抽樣,在使用 4B 和 30B-A3B 模型進行的搜尋、工具使用及自動化任務實驗中,持續勝過多個強化學習基線。
研究發現,Outcome RL 在固定 token 預算下提升 pass@1,主要靠提高答案完成率和作答可靠性,而非新增解題知識。研究比較 20 個已發布 RL 模型(1.5B 至 32B)及其基礎思考模型;Outcome RL 未提升大 k 下的 pass@k,四組物理及數學題的 Reach 增益最多為 2.1 個百分點。
Fin-SD 透過學生模型自行撰寫錯誤評論,並以截斷至錯誤前的正確推理前綴進行按策略自蒸餾,改善多步金融推理,無須外部教師模型提供梯度。在 FinanceReasoning Hard 子集上,Fin-SD 比基礎模型準確率高 3.03 個百分點;以完整參考解答進行按策略自蒸餾時,準確率相若,但生成的 tokens 少 9.5%。使用 GPT-OSS-120B 撰寫提示,效益亦未見明顯高於自行撰寫。
Wiener-informed Decoding(WiD)將維納統計估計融入像素解碼器,透過統計量初始化新路徑,並與模型一同訓練,以改善像素空間 Flow 模型的學習。WiD 適用於類別條件及文字生成圖像,並支援不同解像度;統計量以約 50,000 張圖像估算,使用 GPU 加速約需一分鐘。
CREDIT 透過反事實訓練改善語言模型對外部資訊的自我歸因,減少模型錯誤承認未影響答案的資訊來源。該方法以反事實標籤直接監督最終答案,無需人工標註,並在四個開源模型(包括兩個蒸餾推理模型)上提升歸因表現,優於推理層微調及提示詞基線。提升效果亦部分泛化至未見資訊類型,以及包含支持相互矛盾答案來源的提示詞。
DTCA 透過衡量 token 提交後其餘遮罩位置的預測信心改善,估算 token 貢獻,並按詞性分類訊號,為擴散語言模型的強化學習進行 token 級信用分配。DTCA 亦按策略更新引起的 token 級熵變化校準學習訊號;在 LLaDA-8B-Instruct 上,MATH500 分數最高提升 9.0 分,GSM8K 最高提升 5.3 分。
持有 Elvis Presley 音樂作品及肖像權的授權機構 Authentic Brands Group 起訴 Anthropic,指其未經許可使用 Presley 的 274 首歌曲訓練 AI 模型。訴訟要求每首侵權歌曲賠償 $150,000,合計約 $41m(約 £31m)。案件是藝人遺產直接起訴 AI 開發商的首批重大法律挑戰之一,結果可能為 AI 公司使用既有音樂曲庫立下更廣泛的先例。
文章指出,大模型的知識並非對應某一個參數,而是分散編碼於多個參數的協同作用中。權重的實際貢獻取決於輸入,權重大小不能直接代表重要性,而偏置會影響神經元的激活門檻。研究曾把部分知識定位至 Transformer 前饋層及稀疏神經元,但定位不等於可解釋或可控;文章建議穩定背景知識可編入權重,易變事實則使用 RAG。
文章以外賣配送預測為例,解説 AI 訓練如何透過前向傳播、計算損失、反向傳播、更新參數及重複迭代,逐步減少預測誤差。文章指出,訓練損失下降不代表模型學得好;訓練集、驗證集和測試集須分開,並可在驗證表現不再改善時早停及儲存最佳 checkpoint,以免過度擬合訓練資料。文中亦指出,大模型預訓練通常按預設 token 預算進行,而數據量較小的微調更容易過擬合,因此早停在微調時更有用。
數據投毒透過操控訓練、微調、評估或檢索數據,令 AI 系統學到受污染行為或產生攻擊者指定的結果。五階段操作圖梳理了從影響數據來源、插入樣本,到改變模型或檢索內容並觸發影響的過程;只在模型部署後發生的逃避攻擊,則屬不同機制。
自然梯度下降以參數所定義的機率分佈之間的距離,而非參數向量的歐幾裏得距離,衡量更新步幅,因此不受重新參數化影響。它以 Fisher 資訊矩陣的逆矩陣預處理梯度,可在病態問題上大幅加快收斂,但計算成本高,實務上通常需要近似。