跳到正文
熱點事件持續更新

AI模型對齊方法及訓練流程

1 篇報道1 個報道來源4 小時前更新

先了解這件事

AI 綜述

2026-10-29,阿里雲開發者社區刊出「第 03 篇:對齊時代——讓模型「被馴服」」,介紹 AI 模型對齊方法。文章指出,對齊可透過人類偏好、原則清單或偏好數據,令模型回答更有用且安全,以彌補預訓練目標與人類需求之間的落差。文中回顧 InstructGPT 的 RLHF 流程,包括 SFT、獎勵模型 RM 和 PPO;亦介紹 Constitutional AI,讓模型按照原則自我批評及修訂。文章接着提及 2023 年的 DPO,指出它以偏好數據取代獨立獎勵模型和 PPO,並銜接介紹 DeepSeek 的 GRPO。

AI 根據報道生成 · 4 小時前更新

報道時間線

沿着報道,瞭解事件的不同側面。

10月29日
  1. 阿里雲開發者社區 AI
    第 03 篇:對齊時代——讓模型「被馴服」

    對齊透過人類偏好、原則清單或偏好數據,讓模型的回答更有用且安全,彌補預訓練目標與人類需求之間的落差。InstructGPT 的 RLHF 流程包括 SFT、獎勵模型 RM 和 PPO;Constitutional AI 讓模型按原則自我批評及修訂。2023 年的 DPO 以偏好數據取代獨立獎勵模型和 PPO,文章亦銜接介紹 DeepSeek 的 GRPO。

本事件熱度走勢

當前熱度 9·可比範圍峯值 10(10月29日 15:00)·近 24 小時可比範圍變化 –

02.557.51010月29日15:0010月29日16:0010月29日17:0010月29日18:00

趨勢僅比較持續完整觀測到的相同主體,範圍可能小於當前熱度統計。移動指針或點擊圖表查看每小時熱度;鍵盤可用左右方向鍵切換。