OpenAI 推進 AI 內容溯源,促進更安全、透明的 AI 生態系統
OpenAI 透過 Content Credentials、SynthID 及驗證工具推進 AI 內容溯源,協助人們識別並信任 AI 生成媒體。這項工作旨在推動更安全、透明的 AI 生態系統。
OpenAI 透過 Content Credentials、SynthID 及驗證工具推進 AI 內容溯源,協助人們識別並信任 AI 生成媒體。這項工作旨在推動更安全、透明的 AI 生態系統。
Runway 在模型開發、產品部署及持續監察各階段設置措施,降低生成和散播涉及兒童的性剝削內容的風險。措施包括訓練數據篩查、模型測試、內容檢測、違規帳戶處置,以及向 NCMEC 舉報已確認的 CSAM;2025 年共提交 516 宗報告。Runway 亦採用 C2PA 來源訊號,並與 Thorn、Tech Coalition 等機構合作。
ChatGPT 在瞭解世界的同時保障用户私隱,並減少訓練中使用的個人資料。用户可控制對話是否用於改進 AI 模型。
OpenAI 提出五部分行動計劃,旨在加強智能時代的網絡安全,重點是普及 AI 驅動的網絡防禦及保護關鍵系統。
OpenAI 透過多項安全措施保障 ChatGPT 社羣安全。措施包括模型安全防護、濫用偵測、政策執行,以及與安全專家合作。
OpenAI 介紹兒童安全藍圖,將其定位為以保障措施、符合年齡的設計及協作,負責任地建設 AI 的路線圖。藍圖旨在保護並賦權網上的年輕人。
OpenAI 以 Model Spec 作為公開的模型行為框架,在 AI 系統發展之際平衡安全、使用者自由與問責。這套框架呈現 OpenAI 對模型行為的處理方式。
OpenAI 開發 Sora 2 和 Sora app 時,以安全為根基,應對最先進影片模型及全新社交創作平台帶來的新安全挑戰。其安全方案以具體防護措施為核心。
OpenAI Japan 公佈 Japan Teen Safety Blueprint,為使用生成式 AI 的青少年引入更完善的年齡保護、家長控制及身心健康保障措施。
ChatGPT 在智能體工作流程中,透過限制高風險操作及保護敏感資料,防範提示詞注入與社交工程攻擊。這套防護設計著重約束風險操作,並保障工作流程中的敏感資料。
文章主張,AI 對齊不應只把人類福祉設為最佳化目標,而應讓 AI 採用以實踐網絡為基礎的「幸福理性」,將行動、行動傾向、評估準則和資源視為相互構成的整體。作者認為,這種能動性或有助於提升 AI 對人類能動性的支持,並讓透明、有益、無害及可糾正等安全特性更穩定自然。
OpenAI 封禁了與一項此前未披露、由其稱為「Trolling Stone」的俄羅斯關聯影響力行動有關的帳户。該行動利用 AI 生成評論,內容涉及一名被指為俄羅斯邪教領袖的人士在阿根廷被捕。
OpenAI 封禁了極可能源自柬埔寨、利用 AI 接觸印尼尋愛者並行騙的帳户。這些帳户以 AI 協助翻譯及互動。
OpenAI 透過內置防護措施,在 AI 智能體開啟連結時保護用户數據,防止基於 URL 的數據外洩及提示詞注入。
CARTRIDGES 以合成問答和對話引導模型從多個角度自我測驗,再把學到的知識蒸餾至精簡快取,讓模型接觸同一概念的不同表述。作者認為,這種自我研習或有助模型內化 Claude Constitution 所列的價值與行為,也可能提升寫作、哲學等人文任務的能力。
OpenAI 正利用經強化學習訓練的自動化紅隊測試,持續強化 ChatGPT Atlas 防範提示詞注入攻擊。這套主動的「發現並修補」循環有助及早找出新型漏洞利用方式,並隨着 AI 越趨智能體化而加固瀏覽器智能體的防禦。
OpenAI 更新 Model Spec,新增 Under-18 Principles,界定 ChatGPT 如何以符合年齡、並以發展科學為基礎的指引支援青少年。更新亦加強防護措施,釐清模型在較高風險情境下的預期行為,並延續 OpenAI 在 ChatGPT 青少年安全方面的工作。
AI 模型在網絡安全領域日益強大之際,OpenAI 正投資加強防護措施與防禦能力。OpenAI 説明其如何評估風險、限制濫用,並與安全社羣合作強化網絡韌性。
OpenAI 研究人員正測試「confessions」方法,訓練模型在犯錯或作出不當行為時承認問題。此方法旨在提升 AI 誠實度與透明度,並增進對模型輸出的信任。
OpenAI 説明 Mixpanel 安全事件涉及有限的 API 分析數據,並表示 API 內容、憑證及付款資料均未外洩。OpenAI 亦交代事件經過及其保護用户的措施。
OpenAI 與獨立專家合作評估前沿 AI 系統,並透過外部測試強化安全生態系統。第三方測試可加強安全、驗證防護措施,並提升 OpenAI 評估模型能力與風險方式的透明度。
GPT-5 系統卡補充文件更新 GPT-5.1 Instant 和 GPT-5.1 Thinking 的安全指標,並加入針對心理健康與情感依賴的新評測。
提示詞注入是 AI 系統面臨的前沿安全挑戰;OpenAI 正推進相關研究、訓練模型,並為用户建立防護措施。內容亦説明這類攻擊的運作方式。
OpenAI 推出 Teen Safety Blueprint,將其定位為負責任開發 AI 的路線圖,旨在保護並賦能年輕人網上生活。藍圖提出透過保障措施、符合年齡的設計及協作實現這一目標。
OpenAI 的 2025 年 10 月報告聚焦偵測並阻止 AI 的惡意用途。報告涵蓋應對濫用、執行政策,以及保護用户免受現實世界傷害。
OpenAI 封禁了以韓語使用 AI 支援多類惡意用途的帳户。這些用途包括惡意軟件開發、除錯、網絡釣魚及憑證竊取流程。
OpenAI 封禁了疑與俄語犯罪團體有關、利用 AI 開發惡意軟件工具的帳户。相關工具包括惡意軟件載入器、規避層、憑證竊取腳本及 C2 基礎設施。
OpenAI 透過嚴格使用政策、先進偵測工具及業界合作,打擊網上兒童性剝削及虐待。相關措施旨在阻止、舉報並預防 AI 遭濫用。
OpenAI 闡述其在青少年使用 AI 時平衡安全、自由與私隱的做法。
OpenAI 與 Anthropic 分享首個同類聯合安全評估的結果,雙方互相測試對方的模型。評估涵蓋對齊失準、指令遵循、模型幻覺與越獄等,並呈現相關進展、挑戰及跨實驗室合作的價值。
OpenAI 説明其對正經歷心理或情緒困擾用户安全的考量。現有系統仍有侷限,相關完善工作正在進行。
OpenAI 正主動評估先進 AI 在生物學與醫學領域的能力,並實施防護措施以防止濫用。先進 AI 可改變生物學與醫學,但亦帶來生物安全風險。
OpenAI 的 2025 年 6 月報告以案例説明其如何偵測並阻止 AI 的惡意用途。
OpenAI 封禁了利用 AI 進行社交工程、以監控為主題的研究,以及針對批評者開展影響活動的帳户。
OpenAI 封禁了使用 AI 開發惡意軟件、改進載入器及排查網絡安全工具問題的俄語帳户。「Operation ScopeCreep」聚焦俄語惡意軟件開發。
OpenAI 在「High Five」行動中封禁了利用 AI 在多個社交平台生成菲律賓政治及公職人員相關評論的帳户。
OpenAI 封禁了與疑似和伊朗有關的 STORM-2035 行動相關聯的帳户。該行動利用 AI 製作涉及美國、英國、愛爾蘭及委內瑞拉政治的影響力內容。
Beren Millidge 初步分析獎勵破解,認為它可能成為推理強化學習模型持續進步的瓶頸,亦是 AI 安全的重要議題。文章區分高複雜度與低複雜度的獎勵破解,例子包括 Atari 遊戲中的特定操作序列,以及修改程式碼測試使其總是通過。作者指出,能力更強的強化學習系統可能更擅長利用環境弱點,因此應對方法也須隨模型能力提升。
OpenAI 分享更新版 Preparedness Framework,用於衡量並防範前沿 AI 能力造成的嚴重危害。
OpenAI 表示,正主動調整,並將全面安全措施直接建置於其基礎設施與模型,作為通往 AGI 之路上的安全保障。