跳到正文
OpenAI News·· 2018-05-16精選AI 評分69

OpenAI 發佈 AI 訓練算力增長分析

AI and compute

AI 導讀

OpenAI 發佈分析指出,自 2012 年起,最大規模 AI 訓練所用算力以 3.4 個月的週期翻倍。同期該指標增長逾 300,000 倍;相比之下,Moore’s Law 的翻倍週期為 2 年,按此週期只會增長 7 倍。OpenAI 指出,算力改進是 AI 進步的重要組成部分;若趨勢延續,應預備面對能力遠超今日的系統所帶來的影響。

推薦理由

文中以大型 AI 訓練算力的 3.4 個月翻倍週期對照 Moore’s Law 的 2 年週期,並量化自 2012 年以來逾 300,000 倍的增長。

正文 · 繁體中文

AI 與運算

Image 1: AI And Compute

載入中…

音訊 1

分享

我們現正發布一項分析,指出自 2012 年以來,最大型 AI 訓練作業所使用的計算量一直以指數方式增長,倍增時間為 3.4-month(相比之下,摩爾定律的倍增週期為 2-year)。自 2012 年以來,這項指標已增長超過 300,000x(若倍增週期為 2-year,增幅只會是 7x)。計算能力的提升一直是 AI 進步的重要組成部分,因此只要這個趨勢持續下去,就值得為能力遠超今日水平的系統所帶來的影響作好準備。

AlexNet 至 AlphaGo Zero:運算量增長 300,000x

載入中...

概覽

推動 AI 發展的有三項因素:演算法創新、數據(可以是監督式數據或互動環境),以及可用於訓練的運算量。演算法創新和數據難以追蹤,但運算量尤其容易量化,讓我們有機會衡量 AI 發展的一項投入因素。當然,大量運算有時只會暴露我們現有演算法的不足。不過,至少在許多現有領域中,更多運算似乎可預期地令表現更佳⁠(在新視窗開啟),而且往往能與演算法進步互補。

在這項分析中,我們認為相關的數字不是單一 GPU 的速度,也不是最大型數據中心的容量,而是用來訓練單一模型的運算量——這個數字最有可能與我們最強模型的能力相關。每個模型的運算量與總體運算量有很大差異,因為平行處理能力的限制⁠(在新視窗開啟)(硬件和演算法方面)限制了模型可達到的規模,以及可有效用於訓練模型的運算量。當然,重要突破仍可透過適量⁠運算取得——這項分析只涵蓋運算能力。

這個趨勢代表每年增長約 10 倍。部分增長來自專用硬件,讓設備能以相同價格每秒執行更多運算(GPU 和 TPU);但主要動力來自研究人員不斷找到平行使用更多晶片的方法,並願意承擔相關經濟成本。

時期

從圖表中大致可見四個不同時期:

  • 2012 年之前:在 ML 中使用 GPU 並不常見,因此圖表中的任何結果都難以達成。

  • 2012 至 2014 年:支援使用多個 GPU 進行訓練的基礎設施並不普及,因此大部分成果使用 1-8 個 GPU,額定效能為 1-2 TFLOPS,總計 0.001-0.1 pfs-days。

  • 2014 至 2016 年:大型成果使用 10-100 個額定效能為 5-10 TFLOPS 的 GPU,總計達 0.1-10 pfs-days。數據平行處理的效益遞減,意味著規模更大的訓練作業價值有限。

  • 2016 至 2017 年:能實現更高演算法平行度的方法,例如超大型批次大小⁠(在新視窗開啟)、架構搜尋⁠(在新視窗開啟)和專家迭代⁠(在新視窗開啟),加上 TPU’s 等專用硬件及更快速的互連,大幅提高了這些上限,至少在部分應用中如此。

AlphaGoZero/AlphaZero 是大規模演算法平行處理最廣為人知的公開例子,但目前已有許多其他應用在演算法上可達到這個規模,而且可能已在正式生產環境中應用。

展望未來

我們有多個理由相信,圖表所示的趨勢可能會延續。不少硬件初創公司⁠(在新視窗中開啟)正在研發專為 AI 設計的晶片,其中一些聲稱未來 1–2 年內 FLOPS/Watt 會大幅提升(FLOPS/Watt 與 FLOPS/$ 相關)。只需重新配置硬件,以相同數量的運算換取更低的經濟成本⁠(在新視窗中開啟),也可能帶來提升。在平行處理方面,上文描述的許多近期演算法創新,原則上可以相乘結合,例如架構搜尋和大規模平行 SGD。

另一方面,成本最終會限制這個趨勢中的平行處理部分,而物理定律會限制晶片效率部分。我們認為,現時規模最大的訓練作業所用硬件,購置成本達數百萬美元(雖然攤銷後成本低得多)。然而,現時大部分神經網絡運算仍用於推理(部署),而非訓練,這表示公司可以重新調配晶片,或有能力購置規模大得多的晶片群來訓練。因此,只要有足夠的經濟誘因,我們可能會看到規模更大的平行訓練作業,令這個趨勢再延續數年。全球硬件總預算為1 萬億美元⁠(在新視窗中開啟)一年,因此距離絕對上限仍很遠。總括而言,考慮到以上數據、運算領域出現指數級趨勢的先例、ML 專用硬件的研發,以及其中的經濟誘因,我們認為,若有把握斷言這個趨勢短期內不會延續,將是錯誤的。

過往趨勢不足以預測這個趨勢未來會延續多久,也不足以預測它延續期間會發生甚麼事。但即使能力有相當可能迅速提升,也足以說明我們必須開始同時處理安全⁠及AI 的惡意使用⁠,由今天起。前瞻思維對負責任的政策制定⁠(在新視窗中開啟)及負責任的技術發展至關重要;我們必須走在這些趨勢前面,而非等到事後才作出回應。

如果你想協助確保_AI 的進展惠及全人類_⁠,_加入我們_⁠,成為 OpenAI 團隊一員。我們的研究及工程職位涵蓋 機器學習研究員⁠(在新視窗中開啟)、政策研究員⁠(在新視窗中開啟)以至基建工程師⁠(在新視窗中開啟)。

載入中...

補充:早期重要成果所用的運算量

我們已更新分析⁠,加入涵蓋 1959 至 2012 年的數據。綜觀全部數據,我們清楚看到,訓練 AI 系統所用的運算量分為兩個截然不同的時期:(a) 第一個時期,從 1959 年至 2012 年,其成果大致跟隨 Moore’s law;(b) 現代時期,從 2012 年至今,成果所用的運算能力大幅超越宏觀趨勢。一般談及 AI 領域整體的投資歷史時,人們通常會將之描述成繁榮與衰退交替的故事,但學習系統所用運算量的歷史趨勢中,並沒有呈現這種起伏。看來,AI 寒冬和熱潮時期對訓練模型B在過去半個世紀所用運算量的影響不大。

訓練 AI 系統運算用量的兩個不同時期

載入中...

從感知器⁠(會在新視窗開啟)(1959 年)開始,我們看到,這些歷史結果所使用的運算量,其倍增時間約為 ~2-year;而 3.4-month 的倍增時間則始於 ~2012 年。單憑這些數據難以得出有力結論,但我們認為,這個趨勢很可能是兩個因素共同造成:產出這些結果時可使用的運算量上限,以及投入資金擴大實驗的意願。 C

我們按照原文列明的方法進行這次更新分析。在可行情況下,我們直接實作模型,並以程式計算結果中的 FLOPs 數量。由於電腦架構在歷史上各有不同,而且不少論文省略了運算設定的細節,這些較早期的數據點不確定性較高(我們原本分析 post-2012 數據時,目標是將估算誤差限制在 2–3 倍以內;但對這些 pre-2012 數據點,我們的目標是作出一個數量級的估算)。我們也製作了圖表,從其他角度呈現數據:一張圖展示基礎領域、語音、語言、視覺及遊戲中運算量隨時間的變化,另一張則呈現各數據點的誤差棒估算。

我們對 AI 系統未來的運算量使用情況深感不確定,但難以確信近期運算量快速增長的趨勢會停止,而且我們看到許多理由相信這個趨勢可能持續⁠。根據這項分析,我們認為政策制定者應考慮增加資助D,用於 AI 學術研究,因為顯然某些類型的 AI 研究正變得越來越需要運算資源,因此成本也越來越高。

註腳

  1. A 一個 petaflop/s-day(pfs-day)是指每秒執行 1015 次神經網絡運算,持續一日,總計約 1020 次運算。運算量與時間的乘積有助於理解問題,類似以 kW-hr 表示能量。我們不測量硬件理論上的峰值 FLOPS,而是嘗試估算實際執行的運算次數。我們將加法和乘法計為兩種不同的運算;不論數值精度如何,每次加法或乘法都計為一次運算(因此「FLOP」一詞並非完全準確),並忽略集成模型⁠(在新視窗開啟)。繪製這張圖所用的計算示例載於本附錄⁠。圖中最佳擬合線的倍增時間為 3.4 個月。
  2. B 如同原本的分析,我們聚焦於訓練模型的成本。這不包括專家系統等 AI 系統;這些系統在第一個時期吸引了大量投資。
  3. C 關於這段時期 AI 運算史的生動記述,可參閱 Hans Moravec 的 “False Start” 一節所在的文章⁠(在新視窗開啟)。
  4. D 我們已在自己的國會證詞⁠(在新視窗開啟)中,今年主張增加對學術界的資助,並倡議建立專用運算叢集,協助學術界和業界合作,為 AI 系統進行基準測試並評估其安全性,以回應一項來自 NIST 的資訊徵詢請求⁠(在新視窗開啟)

原文

Dario Amodei, Danny Hernandez

補遺

Girish Sastry, Jack Clark, Greg Brockman, Ilya Sutskever

致謝

作者感謝 Katja Grace、Geoffrey Irving、Jack Clark、Thomas Anthony 和 Michael Page 協助本文的製作。

來源:OpenAI News · openai.com