跳到正文
OpenAI News·· 2019-04-25精選AI 評分63

OpenAI 創建 MuseNet 音樂生成模型

MuseNet

AI 導讀

OpenAI 創建 MuseNet,這個深度神經網絡可生成長達 4 分鐘、使用 10 種樂器的樂曲,並融合從鄉村音樂到 Mozart、The Beatles 的風格。

推薦理由

MuseNet 以數十萬個 MIDI 檔案的下一個 token 預測學習和聲、節奏與風格模式,並沿用 GPT-2 的通用無監督技術,呈現其音樂生成方法。

正文 · 繁體中文

我們創作了 MuseNet,這是一個深度神經網絡,能生成由 10 種不同樂器演奏、長達 4 分鐘的樂曲,並能將鄉村音樂、Mozart 以至 the Beatles 的風格融為一體。MuseNet 並非根據我們對音樂的理解明確編寫程式,而是透過學習預測數十萬個 MIDI 檔案中的下一個詞元,自行發現和聲、節奏和風格的模式。MuseNet 使用的通用無監督技術與 GPT‑2⁠相同;這個大型 Transformer⁠(在新視窗中開啟) 模型經訓練以預測序列中的下一個詞元,無論序列是音訊還是 文字。

由於 MuseNet 熟悉多種不同風格,我們可以用新穎的方式融合生成內容。A 此處向模型提供一首 Chopin 夜曲的首 6 個音符,但要求它以流行風格創作一首配以鋼琴、鼓、低音結他和結他的樂曲。模型成功地將兩種風格融合得令人信服,完整樂隊約在 30 秒時加入演奏:

我們從多個不同來源收集 MuseNet 的訓練數據。 ClassicalArchives⁠(在新視窗中開啟) 和 BitMidi⁠(在新視窗中開啟) 為這個項目捐出他們收藏的大量 MIDI 檔案,而我們亦在網上找到數個收藏集,包括爵士樂、流行音樂,以及非洲、印度和阿拉伯音樂風格。此外,我們也使用了 MAESTRO 數據集⁠(在新視窗中開啟)。

Transformer 以序列數據進行訓練:給定一組音符後,我們要求它預測接下來的音符。我們試驗了幾種不同方法,將 MIDI 檔案編碼為適合這項任務的詞元。第一種是逐和弦處理的方法,把同一時間發聲的每種音符組合視為一個獨立的「和弦」,並為每個和弦指定一個詞元。第二種方法是只聚焦於音符的起始時刻來精簡音樂模式,並嘗試再用位元組對編碼 方案進一步壓縮。

我們亦試過兩種不同方法來標記時間流逝:一種使用按樂曲速度縮放的詞元(讓詞元代表一個音樂拍子或一拍的分數),另一種則使用詞元標記以秒為單位的絕對時間。我們最後採用了兼具表現力和簡潔性的編碼方式:把音高、音量和樂器資訊合併成單一 詞元。

來源:OpenAI News · openai.com