跳到正文
OpenAI News·· 2020-04-30精選AI 評分71

OpenAI 發佈 Jukebox 音樂生成模型,並公開模型權重與程式碼

Jukebox

AI 導讀

OpenAI 發佈 Jukebox,這是一個能以原始音訊形式生成多種曲風及藝人風格音樂的神經網絡模型,也能生成初階演唱。OpenAI 同時公開模型權重、程式碼,以及用於探索生成樣本的工具。

推薦理由

權重與程式碼連同樣本探索工具一併公開,讓讀者可直接接觸模型資源,並瞭解其生成涵蓋多種曲風、藝人風格及初階演唱。

正文 · 繁體中文

自動音樂生成的歷史可追溯至半個多世紀前。1, 2, 3, 4 一種突出的做法是以鋼琴卷軸的符號形式生成音樂,當中會指定每個要演奏音符的時間、音高、力度及樂器。這帶來了令人印象深刻的成果,例如創作 Bach 聖詠,5, 6 使用多種樂器演奏的複音音樂,7, 8, 9 以及長達一分鐘的樂曲。10, 11, 12

但符號生成器有其局限——它們無法捕捉人聲,亦無法捕捉音樂不可或缺的許多更細膩的音色、力度變化及表現力。另一種做法A 是直接將音樂建模為原始音訊。13, 14, 15, 16 在音訊層級生成音樂頗具挑戰,因為序列非常長。17 一首典型的 4-minute 歌曲,以 CD 音質(44 kHz, 16-bit)計,包含超過 10 million 個時間步。作為比較,GPT‑2 有 1,000 個時間步,而 OpenAI Five⁠ 每場遊戲則會使用數萬個時間步。因此,若要學習音樂的高層語義,模型必須處理極長距離的 依賴關係。

處理輸入過長問題的一種方法,是使用自動編碼器,透過捨棄一些在感知上無關緊要的資訊位元,將原始音訊壓縮至較低維度的空間。之後,我們可以訓練模型在這個壓縮空間中生成音訊,再上採樣回原始音訊空間。25, 17

我們選擇研究音樂,是因為希望繼續拓展生成模型的界限。我們先前關於 MuseNet⁠ 的工作探索了基於大量 MIDI 數據合成音樂。如今處理原始音訊時,我們的模型必須學會應對高度多樣性及極長距離結構,而原始音訊領域尤其難以容忍短期、中期或長期 時序上的錯誤。

Jukebox 的自動編碼器模型採用稱為 VQ-VAE 的量化方法,將音訊壓縮至離散空間。25 階層式 VQ-VAEs17 可以根據幾組樂器生成短小的器樂曲,但由於將串接的編碼器與自回歸解碼器搭配使用,會遭遇階層崩潰問題。名為 VQ-VAE-226 的簡化變體只使用前饋式編碼器和解碼器,避免了這些問題,並在生成高保真度 圖像方面展現出令人印象深刻的成果。

我們從 VQ-VAE-2 汲取靈感,並將其方法應用於音樂。我們對其架構作出以下修改:

  • 為減輕 VQ-VAE 模型常見的碼本崩潰問題,我們採用隨機重啟:每當某個碼本向量的使用率低於 門檻時,就隨機將它重設為其中一個已編碼的隱藏狀態。

  • 為了充分利用較高層級,我們使用各自獨立的解碼器,並分別根據每個層級的代碼重建輸入。

  • 為了讓模型更容易重建較高頻率,我們加入頻譜損失27, 28 它會對輸入頻譜圖與重建頻譜圖之差的範數施加懲罰。

我們使用下圖所示、包含三個層級的 VQ-VAE,分別將 44kHz 原始音訊壓縮 8x、32x 及 128x;每個層級的碼本大小為 2048。這種降採樣會丟失許多音訊細節,隨着層級逐步降低,聲音也會明顯變得嘈雜。不過,音訊仍保留音高、音色及音量等重要資訊。

接着,我們訓練先驗模型,其目標是學習由 VQ-VAE 編碼的音樂代碼分佈,並在這個壓縮後的離散空間中生成音樂。與 VQ-VAE 一樣,我們有三個層級的先驗模型:最上層先驗模型會生成壓縮程度最高的代碼,另外兩個上採樣先驗模型則會生成壓縮程度較低、以上層內容為條件的代碼。

最上層先驗模型負責建模音樂的長距離結構,從這一層解碼出的樣本音質較低,但能捕捉歌唱和旋律等高層語義。中層和底層的上採樣先驗模型會加入音色等局部音樂結構,大幅提升音訊 品質。

我們使用簡化版的 Sparse Transformers,將這些模型訓練為自回歸模型。29, 30 每個模型都有 72 層因式分解自注意力,使用包含 8192 個代碼的上下文;在最上層、中層及最底層,分別相當於約 24 seconds、6 seconds 及 1.5 seconds 的原始音訊。

所有先驗模型完成訓練後,我們可以從最上層生成代碼,使用上採樣器將它們上採樣,再透過 VQ-VAE 解碼器解碼回原始音訊空間,取樣生成新歌曲。

為了訓練這個模型,我們爬取網頁,整理出一個包含 1.2 million 首歌曲的新資料集(其中 600,000 首為英文歌曲),並配上來自 LyricWiki⁠(在新視窗中開啟)。中繼資料包括歌曲的藝人、專輯流派和年份,以及與每首歌曲相關的常見情緒或播放清單關鍵字。我們使用 32-bit、44.1 kHz 的原始音訊進行訓練,並透過隨機將右聲道和左聲道下混,產生單聲道 音訊。

來源:OpenAI News · openai.com