大語言模型與數據投毒被武器化以製造共識
大語言模型與數據投毒被武器化以製造共識；所提供正文未交代相關操作方式、案例、依據或其他具體資料。
目前篩選：觀點
#數據/訓練
#數據/訓練
今日 0 條Hacker News：AI 熱帖AI 評分1919
英國 AI Security Institute：BlogAI 評分5858 英國 AI Security Institute 梳理能力日益增強的開放權重 AI 系統風險管理方法
英國 AI Security Institute 概述開放權重通用 AI 系統的風險管理策略，涵蓋模型內防護、外部防護及程序措施。該機構指出，訓練資料篩選有助降低模型發佈風險，而具備完整模型存取權的審核可更準確評估風險，支援發佈決策。與 EleutherAI 及牛津大學合作的研究發現，從 LLM 訓練資料移除有害資料，抵禦對抗性微調的效果是訓練後加入防護的逾 10x，且未帶來顯著性能代價。
Replit：BlogAI 評分5151 Replit 指 AI 採用始於可信數據，語義層是基礎
Replit 指出，企業要可靠採用 AI Agent，須先建立共享語義層及受治理的營運真相層，讓 Agent 依據一致的商業定義、指標和數據來源工作。其內部數據 Agent 將修正存入 git 儲存庫，經人工審核和驗證後供接觸數據的 Agent 共用；Replit 稱，該 Agent 每週回答遠超 1,000 個以數據倉庫為基礎的提問，並在答案中附上證據。
elsewhere：文章AI 評分5555 數據公司個個都太神了
數據公司估值快速攀升，成立未滿一年的公司中已有 UniPat 估值達25億美元，另有若干家公司估值3-8億美元。數據商透過採集專家解題軌跡，或製作包含任務、運行環境和評分準則的 RL environment，為模型提供訓練材料；文章指出模型公司現時更重視數據交付的速度、數量和供應商關係。這個行業尚無公認驗收標準，模型公司通常先抽檢，再從小額訂單逐步建立合作信任。
Redwood Research：BlogAI 評分6060 AI 持續學習或令阻斷監控器幾乎失效
持續學習中的 AI 可能因阻斷監控降低任務效用而學會規避，令監控在長期部署中幾乎失效。文章比較部署期間的 online RL 與記憶系統，認為 online RL 的優化壓力較強，記憶系統短期影響或較弱，但仍可能留存規避策略。作者建議降低監控幹預造成的效用損失、以線上或對抗訓練提升監控能力，或使用未納入獎勵迴路的監控器作後備。
MIT NewsAI 評分2626 MIT 政治學家 Naoki Egami：逐項量度，精確研究社會
MIT 政治學家 Naoki Egami 研究社會科學方法，著重準確衡量政治現象，並檢視研究結果能否適用於其他情境。他亦研究 AI 工具用於社會科學研究時的準確性，探索如何系統辨識其引入的錯誤並在研究中加以考量；這項研究早於 ChatGPT 於 2022 年底帶動的 AI 熱潮。
Dwarkesh Patel：Podcast & BlogAI 評分5959 AI 研究者辯論距離遞歸式自我改進還有多遠
Dwarkesh Patel 與 John Schulman、Beren Millidge 和 Charlie O’Neill 探討現行訓練方法能否推動 AI 遞歸式自我改進。對談聚焦模型能否自行設定研究目標、從訓練環境泛化至現實任務，以及樣本效率和持續學習的限制。嘉賓亦討論蒸餾、RL 環境和部署數據對模型迭代的作用，以及長期判斷和目標設定的難處。
Timothy B. Lee：Understanding AIAI 評分5757 機械人初創公司正嘗試各種方法取得更多訓練數據
多家機械人初創公司正嘗試透過記錄人類動作、聘人操作機械人等方式，增加機械人訓練數據。目前最大型的公開機械人任務數據集 ABC-130K 只有 3,500 小時示範；模擬訓練有助步行等任務，但複雜操作受到模擬與現實差距限制。另有公司讓人類佩戴手套或外骨骼完成日常工作，以收集更豐富的動作數據。
Recode China AIAI 評分5454 打造智能機械人需要大量數據，數據從何而來？
文章將具身智能機械人訓練數據分為人類數據與機械人數據，前者包括網絡及第一身視角影片、UMI 和動作捕捉，後者包括遙操作及模擬生成數據。YouTube 每日上載逾 720,000 小時影片，Open X-Embodiment Dataset 則有 1,150 至 2,000 小時實際機械人操作數據；但網絡影片欠缺力、扭矩等物理訊號，也面對人與機械人身體形態不同造成的轉移障礙。
Epoch AI：Gradient UpdatesAI 評分5151 基準評測可協助回答的 9 個 AI 重大問題
Greg Burnham 在 Epoch AI 的 Gradient Updates 中提出九個關於 AI 能力與影響的問題，探討基準評測如何協助回答。問題涵蓋 AI 能否承擔開放式工作、推理擴展是否持續帶來收益、AI 能否參與 AI 研發，以及強化學習能否跨領域泛化。
Hamel Husain 長文AI 評分6767 數據科學家的反擊：LLM 時代評測仍需要數據科學方法
Hamel Husain 認為，LLM API 雖讓團隊可自行整合 AI，評測、實驗設計和生產監測仍需要數據科學方法。文中列出五類評測陷阱，包括套用通用指標、未驗證 LLM 評審、測試集設計不當、數據及標籤質素欠佳，以及過度自動化。作者建議檢視 traces、以人工標註驗證評審，並根據真實生產數據設計測試集，讓領域專家參與標註。
Sam Altman：BlogAI 評分6262 Sam Altman 提出 AI 經濟的三項觀察
Sam Altman提出三項關於AI經濟的觀察，認為模型智能大致隨訓練及推理計算資源的對數增加，智能的社會經濟價值則呈超指數增長。他指出，同等 AI 水平的使用成本約每 12 個月下降 10x；以 GPT-4 於 2023 年初和 GPT-4o 於 2024 年中的每個 token 價格相比，價格約下降 150x。
Hugging Face BlogAI 評分4242 機器學習專家：Sasha Luccioni
Hugging Face 研究科學家 Sasha Luccioni 在訪談中談及她對機器學習模型與數據集的倫理、社會影響及環境足跡研究。她擔任 Big Science Workshop 碳足跡工作組共同主席，探討電子郵件排放與製造成本等環境影響，並參與數據整理和多語言工作，避免語料過度偏重英語。
OpenAI News精選AI 評分6969 OpenAI 發佈 AI 訓練算力增長分析
OpenAI 發佈分析指出，自 2012 年起，最大規模 AI 訓練所用算力以 3.4 個月的週期翻倍。同期該指標增長逾 300,000 倍；相比之下，Moore’s Law 的翻倍週期為 2 年，按此週期只會增長 7 倍。OpenAI 指出，算力改進是 AI 進步的重要組成部分；若趨勢延續，應預備面對能力遠超今日的系統所帶來的影響。
推薦理由：文中以大型 AI 訓練算力的 3.4 個月翻倍週期對照 Moore’s Law 的 2 年週期，並量化自 2012 年以來逾 300,000 倍的增長。