跳到正文
熱點事件持續更新

模型縮放定律與策略演變

1 篇報道1 個報道來源4 小時前更新

先了解這件事

AI 綜述

報道介紹模型縮放定律及相關策略:模型損失會隨參數量、數據量和算力按冪律下降,令模型規模與表現的關係更可預測。Kaplan 於 2020 年主張,在固定算力下優先增加參數;Chinchilla 於 2022 年提出參數量與訓練 token 按 1:20 同比例增長,以追求計算最優。GPT-3 以 1750 億參數展示規模效應;報道並指出,DeepSeek 透過模型側縮放策略及架構效率探索另一條路。

AI 根據報道生成 · 4 小時前更新

報道時間線

沿着報道,瞭解事件的不同側面。

10月29日
  1. 阿里雲開發者社區 AI
    縮放定律:為何「更大+更多」會穩定變強

    縮放定律指出,模型損失會隨參數量、數據量和算力按冪律下降,令模型規模與表現的關係變得可預測。Kaplan 2020 主張固定算力下優先增加參數;Chinchilla 2022 則提出參數與訓練 token 按 1:20 同比例增長,追求計算最優。GPT-3 以 1750 億參數展示規模效應,DeepSeek 則以模型側縮放策略和架構效率探索另一條路。

本事件熱度走勢

當前熱度 9·可比範圍峯值 10(10月29日 15:00)·近 24 小時可比範圍變化 –

02.557.51010月29日15:0010月29日16:0010月29日17:0010月29日18:00

趨勢僅比較持續完整觀測到的相同主體,範圍可能小於當前熱度統計。移動指針或點擊圖表查看每小時熱度;鍵盤可用左右方向鍵切換。