熱點事件持續更新
模型縮放定律與策略演變
1 篇報道1 個報道來源4 小時前更新
先了解這件事
AI 綜述
報道介紹模型縮放定律及相關策略:模型損失會隨參數量、數據量和算力按冪律下降,令模型規模與表現的關係更可預測。Kaplan 於 2020 年主張,在固定算力下優先增加參數;Chinchilla 於 2022 年提出參數量與訓練 token 按 1:20 同比例增長,以追求計算最優。GPT-3 以 1750 億參數展示規模效應;報道並指出,DeepSeek 透過模型側縮放策略及架構效率探索另一條路。
AI 根據報道生成 · 4 小時前更新
最新進展10月29日 14:54
報道提及,DeepSeek 透過模型側縮放策略及架構效率探索另一條路。報道時間線
沿着報道,瞭解事件的不同側面。
10月29日
- 阿里雲開發者社區 AI縮放定律:為何「更大+更多」會穩定變強
縮放定律指出,模型損失會隨參數量、數據量和算力按冪律下降,令模型規模與表現的關係變得可預測。Kaplan 2020 主張固定算力下優先增加參數;Chinchilla 2022 則提出參數與訓練 token 按 1:20 同比例增長,追求計算最優。GPT-3 以 1750 億參數展示規模效應,DeepSeek 則以模型側縮放策略和架構效率探索另一條路。
本事件熱度走勢
當前熱度 9·可比範圍峯值 10(10月29日 15:00)·近 24 小時可比範圍變化 –
趨勢僅比較持續完整觀測到的相同主體,範圍可能小於當前熱度統計。移動指針或點擊圖表查看每小時熱度;鍵盤可用左右方向鍵切換。