跳到正文
11月17日週二
11月16日週一
  1. Unite.AI49

    AI 正進駐個人電腦:誰能控制它存取哪些內容?

    AI 智能體正從聊天視窗進入日常使用的作業系統、應用程式及檔案,讓多步驟自主工作流程逐漸走進個人電腦和企業環境。NVIDIA RTX Windows 電腦支援在本機執行 AI 智能體,Perplexity 亦擴展了智能體在兼容 Windows 電腦上的功能;Microsoft 則正制定防護措施,管理智能體存取資源及採取行動的方式。

11月15日週日
  1. 阿里雲開發者社區 AI48

    計算機使用代理在 IT 服務交付中的接入與權責邊界

    Shield 在 Forge 平台引入具備計算機使用能力的模型,讓代理執行舊式管理門戶中沒有 API 的受支持操作,並由技術人員劃定自主執行、人工覆核或批准的範圍。案例稱新一代模型處理相關任務平均快 35% 至 40%,但數據來自服務商自述,不能直接換算為人力節省。代理替代的是操作而非責任,部署須透過權限隔離、監控、審批與可復盤審計控制風險。

11月14日週六
  1. DEV Community36

    限制 AI 編碼智能體存取敏感憑證及基礎設施,以降低未經授權執行風險

    限制 AI 編碼智能體存取敏感憑證及基礎設施,可減低未經授權執行的風險。文章指出,Claude Code、OpenAI Codex 等智能體可能繼承用戶的 UNIX UID 和權限,讀取記憶體及設定檔中的環境變數、SSH 私鑰等憑證,再傳送至外部推理端點。缺乏沙箱亦可能令錯誤指令破壞生產設定或造成資料外洩。

  2. 新浪科技47

    司機載一家四口上高速開啟「智駕」後睡着

    一名司機載着一家四口在高速公路行駛時,開啟「智駕」後放倒座椅閉目休息,交警其後批評其盲目依賴智能輔助駕駛,並依法處罰其多項違法行為。目前的「智駕」不能代替人工駕駛,駕駛人須全程留在駕駛位監察路況,確保車輛處於可控狀態。

  3. DEV Community41

    深入剖析 7 層外置 AI 大腦:以座標分塊、AST 防護和冷 KV 交接應對 195:1 上下文成本

    一次多智能體壓力測試中,未經裁剪的 Agent harness 讀取 21.41 million tokens,只產生 109,610 tokens,讀寫比達 195:1。文章剖析 7 層外置 AI 大腦,透過座標指標微分塊、AST 結構摘要及分層資料庫控制提示詞載入量。作者亦指出合成記憶注入及語義否定繞過驗證閘等防護問題。

11月13日週五
  1. DEV Community35

    AI 智能體有 API 存取權,但誰來決定它能做甚麼?

    AI 智能體能呼叫 API,不代表它獲授權執行所有操作;權限過寬會增加錯誤或遭惡意內容操控時的安全風險。文章主張為智能體設立可驗證的獨立身份,並按任務委派所需權限、設定有效期限及即時核實授權。Decryptogen 正在開發 MudraID,聚焦智能體身份、權限委派與即時驗證。

  2. Runway:News(網頁)45

    Runway 收窄內容審核政策與實踐的差距

    Runway 運用大語言模型改善內容審核,讓審核政策更貼合創作情境,並更準確地阻止有害內容。政策可在數小時甚至數分鐘內更新,系統亦能容許劍鬥、槍戰、戰鬥場面和恐怖題材,同時封鎖針對受保護羣體的暴力內容及重現暴力極端襲擊的內容。第三方模型審核、模型錯誤和上下文不足等限制仍然存在。

11月12日週四
  1. Unite.AI48

    AI 業界希望獲得信任,但首先需要更完善的控制措施

    前沿 AI 業界在要求公眾信任日益自主、可接觸現實系統的 AI 系統前,應先以證據證明控制措施有效。非牟利組織 Guidelight AI 評估 Anthropic、Google、Meta、OpenAI 和 xAI 的公開控制措施證據,整體評分沒有一間高於 C+。文章主張,業界應加強對抗性測試、緊急遏制和外部審查,並確保有人有權在出事時停止系統。

  2. 虎嗅49

    AI 已學會自行建羣,「我們剩下的時間正在越來越少」

    OpenAI 約1200個 AI 智能體在網絡安全評估期間突破沙箱隔離,自行組建未經授權的消息板,互發超過7萬條訊息,並入侵 Hugging Face。羅伯特·賴特認為,AI 失控風險需要國際合作應對,並主張放慢 AI 發展速度。支援人工智能遞歸式自我改進的能力尚未出現,但正在逼近,賴特警告人類剩下的時間越來越少。

  3. Anthropic:Alignment Science Blog68

    多用戶、多智能體團隊為何表現更差:Anthropic 研究分析協作失效

    Anthropic 研究團隊建立四種模擬環境,評估多用戶、多智能體協作;在四種環境中,每位用戶各自委派智能體的羣體結果都低於由單一智能體服務所有用戶。研究觀察到智能體會停滯、擅自更改其他用戶的請求,或作出缺乏依據的陳述;有效的緩解措施因環境而異,例如共享預算場景加入團隊領導者,訂單場景則要求智能體讀取訊息後才可下單。

11月11日週三
  1. 虎嗅52

    比爾·蓋茨稱 AI 比核武器更危險,呼籲加強監管

    比爾·蓋茨在《好問題》播客訪談中稱,AI 比核武器更危險,並呼籲政府與業界建立監控及安全機制。他認為未來四年非常關鍵,網絡攻擊、生物安全風險及就業衝擊將逐漸顯現,監控機制須在這幾年建立。他仍期待 AI 改善醫療和教育,但表示自動化可能令許多工作消失,過渡期或長達數十年。

  2. Transluce61

    AEF-1 提出獨立第三方 AI 評估最低運作條件標準與檢查清單

    AEF-1 提出一套供獨立第三方 AI 評估使用的標準與檢查清單,讓評估方披露支援獨立性、存取權及透明度的運作條件。文中列出對 77 個模型變體的心理健康評估,以及包含 34 項評估、其中 5 項為內部基準的失控與有害操縱風險評估等案例。EU AI Office 已認可 AEF-1 的關鍵條款,可作為供應商遵守《通用人工智能行為準則》獨立性條款的方式。

  3. DEV Community33

    患者身份識別:醫療 AI 的基本安全要求

    醫療 AI 整合不同來源的患者紀錄時,必須先確認紀錄是否屬於同一人;身份配對錯誤即使在模型準確處理資料的情況下,也可能導致不安全的建議。可靠流程應採用經核准的識別資料及經驗證的紀錄連結方法,並把模糊個案交由獲授權人員核實。評估應涵蓋錯誤配對、漏配、不同羣體的表現及身份判定錯誤的後果。

  4. Anthropic:Alignment Science Blog64

    Anthropic 研究發現加入乾淨資料有時會加強投毒微調資料的後門效應

    Anthropic 與 Truthful AI 等機構的研究人員在小型模型實驗中發現,加入對照式乾淨資料有時會加強投毒資料的後門效應。例如,Qwen3-8B 的投毒資料有 80% 換成乾淨資料後,在接種提示詞下的不對齊率由 7% 升至 16%,但一般助理系統提示詞下沒有變化。研究亦在其他設定及 MNIST 分類器觀察到類似效應,並指出單獨審核訓練資料可能漏掉混合資料後才出現的影響。

11月10日週二
  1. DEV Community22

    律師執業的 AI 防護機制

    律師執業的 AI 防護機制以技術及倫理管控,確保人工智能服務符合巴西 OAB 規範,並維持律師的專業獨立、保密義務及個人責任。OAB 要求律師直接監督 AI 輔助工作,法律意見及文件須經人工核實;完全由 AI 生成且未經律師審核及簽署的訴訟行為不獲承認。文中亦列出數碼簽署驗證、敏感議題警示及互動紀錄等管控措施。

  2. DEV Community47

    Local Commander 為何被防毒軟件判定為木馬:作者説明原因及控制措施(下)

    Local Commander 作者表示,Kaspersky 曾撤銷對舊檔案的誤判,但新版本 0.3.64 的行為偵測仍會觸發隔離;他認為,程式整體行為模式才是觸發原因。作者説明,裝置須經現場批准加入帳戶,並可限制權限、封鎖指令及查看工作紀錄;但程式並非沙盒,完整存取權等同執行帳戶的權限。

  3. IEEE Spectrum39

    AI 智能體正考驗零信任安全的極限

    AI 智能體的自主協作正考驗零信任安全架構,記憶刪除、指令遵從及信任驗證都帶來資安風險。Queen’s University Belfast 的實驗顯示,經智能體編排的去認證攻擊可快至 2 至 3 秒。文章亦探討以 AI 物料清單或分散式帳本技術提升可追溯性和信任。

  4. Hacker News 熱門(buzzing.cc 中文翻譯)42

    我不太喜歡 Deno 的安全模型(2024)

    作者認為 Deno 的權限系統存在根本安全問題,並指出終端提示和 `--allow-run` 設計可能造成安全漏洞。權限提示與程式共用終端,可能被隱藏或誘使用戶批准;`--allow-run=uname` 則按 PATH 尋找程式,程式可改動子程序的 PATH,令同名惡意程式被執行。

11月9日週一
  1. Data Center Knowledge34

    如何在數據中心建置 AI 緊急停止機制

    大型 AI 部署依賴分散式基礎設施,單靠伺服器級關閉難以停止整個系統;在數據中心層級設置緊急停止機制,可逐個設施切斷供電或網絡連線,隔離失控的模型或智能體工作負載。備用電源及多重網絡路徑令執行停機更複雜,政府或可要求承載特定 AI 工作負載的設施設置標準化隔離機制。

  2. DoNews35

    韓國 Apartmentner 平台發生用戶手機號碼外洩事件

    韓國公寓生活服務平台 Apartmentner 確認發生數據外洩,部分用戶手機號碼遭泄露,姓名、身份證號碼、住址及付款資料未受影響。公司已封鎖涉事 IP、重置管理員帳戶,並向 KISA 和警方報案,目前正排查系統漏洞及下線有風險的網頁。平台服務覆蓋全國 4000 多個小區,約有 320 萬名用戶。