從 AI 孫燕姿到 MusicGen，從演唱到創(chuàng)作，AI 已經(jīng)全面入侵音樂領(lǐng)域。

近日，Meta 在 Github 上開源了 AI 模型 MusicGen，引發(fā)外界關(guān)注。

(資料圖片)

顧名思義，MusicGen 是有一個音樂生成 AI 模型，可以根據(jù)文本和旋律提示創(chuàng)作音樂。

該模型基于谷歌 2017 年推出的 Transformer 模型，并采用 Meta 的 EnCodec 編譯器將音頻數(shù)據(jù)分解為小單元處理。

上周晚些時候，Meta 人工智能研究工程師 Felix Kreuk 在 Twitter 上展示了 MusicGen 的功能。

在視頻演示中，MusicGen 分別將兩個古典音樂片段改編成 80 年代的流行音樂和現(xiàn)代嘻哈音樂，它還根據(jù)提示加入了樂器、電子音等元素。

根據(jù) Meta 的介紹，MusicGen 接受了 20000 小時的音樂訓(xùn)練，相當(dāng)于人不吃不喝不睡覺訓(xùn)練 833 天。

該模型還使用了來自媒體內(nèi)容服務(wù)商 ShutterStock 和 Pond5 10000 首 " 高質(zhì)量 " 授權(quán)音樂和 390000 首純音樂。

那么，練習(xí)時長兩年半的 MusicGen，夠格出道嗎？

Meta 自己將 MusicGen 與市面上已有的音樂創(chuàng)作軟件 MusicLM（谷歌旗下）、Riffusion 以及 Mousai 進(jìn)行了比較。

對此，華爾街見聞挑選了其中三個例子：

提示 1. 創(chuàng)作一首流行舞曲，要求旋律朗朗上口，加入熱帶打擊樂因素，節(jié)奏歡快，適合沙灘場景。

MusicGen

MusicLM

RiffusionMousai

提示 2. 編一首氣勢宏偉的管線交響樂曲，加入雷鳴般的打擊樂器、有史詩感的銅管樂和高昂的弦樂，創(chuàng)造一個適合英雄戰(zhàn)斗的電影背景音樂。

提示 3. 創(chuàng)作一首經(jīng)典雷鬼音樂，加入電吉他獨(dú)奏。不難聽出，MusicGen 的表現(xiàn)似乎更加驚艷。

據(jù) Meta 稱，無論在與文本的匹配度上，還是在作曲的可信度上，MusicGen 在四者之間的表現(xiàn)都更勝一籌。

為了驗(yàn)證 MusicGen 是不是真有那么好，科技媒體 Techcrunch 記者 Kyle Wiggers 親身試用了 MusicGen 和 MusicLM，對比兩位 AI 音樂家的作品。

先說他的結(jié)論：

我得說，（MusicGen ）還不至于讓人類音樂家丟了工作，但它創(chuàng)作的音樂相當(dāng)優(yōu)美，至少對于 " 環(huán)境音樂 " 這樣的基本提示語來說是這樣，而且在我聽來，它與谷歌的 AI 音樂生成器 MusicLM 相比，不分伯仲（如果不是稍微好一點(diǎn)的話）。

Wiggers 先是拋出了一個簡單的提示語：爵士、電梯音樂。

MusicGen 和 MusicLM 拿出了以下作品：

然后，Wiggers 增加考試難度，讓 AI 創(chuàng)作一首低保真、慢節(jié)奏的 Electro Chill（一種融合了電子音樂和放松氛圍的音樂風(fēng)格）音樂，要求使用自然、真實(shí)的聲音。

兩大模型作品如下：

對于第二個提示，Wiggers 發(fā)現(xiàn)，MusicGen 在音樂連貫性方面出人意料地勝過 MusicLM，其作品很容易在 YouTube 上的一個音樂全天直播頻道 Lofi Girl 上找到來源。

最后，Wiggers 嘗試讓 MusicGen 和 MusicLM 創(chuàng)作具有知名作曲家 George Gershwin 風(fēng)格的鋼琴小曲。

他發(fā)現(xiàn)，谷歌在 MusicLM 的公開版本中嵌入了一個過濾器，阻止用戶提示特定藝術(shù)家，以保護(hù)作者版權(quán)。

相比之下，MusicGen 就沒有這樣的過濾器，最終創(chuàng)作出了所謂 George Gershwin 風(fēng)格的鋼琴曲。

但在 Wiggers 看來，這首曲子并沒有那么好。

值得一提的是，目前市面上存在許多文本、語音、圖片甚至是視頻生成模型，但優(yōu)質(zhì)的音樂生成模型少之又少。

根據(jù)在線科學(xué)預(yù)印本存儲庫 arXiv 中找到的研究文件，音樂生成的主要挑戰(zhàn)之一是需要運(yùn)行全頻譜，這需要更密集的采樣，更不用說復(fù)刻音樂的復(fù)雜結(jié)構(gòu)和樂器的配合了。

MusicGen 能否成為一款優(yōu)秀的音樂生成模型，還有待更多用戶的驗(yàn)證。

用戶可以通過 Hugging Face 的 API 體驗(yàn) MusicGen，但生成音樂可能需要一些時間，具體取決于同時在線的用戶數(shù)量。

目前，Meta 尚未提供用于訓(xùn)練模型的代碼，但提供了預(yù)訓(xùn)練模型。