跳到正文
OpenAI News·· 2019-12-05精選AI 評分66

OpenAI 研究指出 CNN、ResNet 與 Transformer 出現雙重下降現象

Deep double descent

AI 導讀

OpenAI 的研究指出,雙重下降現象會出現在 CNN、ResNet 和 Transformer 中。隨模型規模、數據量或訓練時間增加,性能會先改善、再變差,然後再次改善。這種情況常可透過謹慎的正則化避免,但其成因尚未完全理解,後續研究仍是重要方向。

推薦理由

研究在 CNN、ResNet 與 Transformer 中觀察到雙重下降,並指出性能會隨模型規模、數據量或訓練時間增加而先升、再降、再升。

正文 · 繁體中文

以上圖表顯示測試誤差和訓練誤差如何隨模型大小及最佳化步數而變化。當最佳化步數固定(y 座標固定)時,測試誤差和訓練誤差會呈現模型大小上的雙重下降現象。當模型大小固定(x 座標固定)時,隨着訓練進行,測試誤差和訓練誤差會先下降、再上升,然後再次下降;我們稱這種現象為按訓練週期計的雙重 下降。

一般而言,模型剛好能擬合訓練 集時,測試誤差的峰值會穩定地出現。

我們的直覺是,對於處於插值閾值的模型,實際上只有一個模型能擬合訓練資料;即使只是迫使它擬合帶有輕微雜訊或設定有誤的標籤,也會破壞它的整體結構。換言之,沒有任何「好模型」能同時對訓練集進行插值擬合,並在測試集上表現良好。然而,在過度參數化的區域中,有許多模型能擬合訓練集,而且其中存在這類好模型。此外,隨機梯度下降(SGD)的隱式偏差會使其趨向這類好模型,原因我們目前尚未 理解。

全面理解深度神經網絡中雙重下降背後的機制,仍是一個重要的未解 問題。

來源:OpenAI News · openai.com