利用人工智能識別歌曲風(fēng)格,從而進(jìn)行分類
任何曾經(jīng)編輯過磁帶或SpoTIfy播放列表的人都知道,當(dāng)他們在歌曲中傳遞出了某種情感時,他們就會取得成功。這就是為什么Gracenote的音樂數(shù)據(jù)專家長期以來一直根據(jù)情緒和情感對世界萬千繁雜音樂進(jìn)行分類的原因。
而Gracenote團(tuán)隊實際上并沒有真正逐首聽過他們數(shù)據(jù)庫中成千上百的歌曲。取而代之的是,它教會了電腦去識別情緒,使用機(jī)器聆聽,借助人工智能(AI)來判斷一首歌曲的風(fēng)格,進(jìn)而判別是夢幻、性感,還是純粹的悲傷風(fēng)格。
“機(jī)器學(xué)習(xí)是我們所具有的一個巨大的戰(zhàn)略優(yōu)勢,”Gracenote的總經(jīng)理BrianHamilton在最近的一次采訪中說。
據(jù)悉,Gracenote在10年前就開始了它所謂的“聲音情緒分類”工作。隨著時間的推移,傳統(tǒng)算法越來越多地被先進(jìn)的神經(jīng)網(wǎng)絡(luò)算法所取代,這項工作也隨之進(jìn)化了。這也已經(jīng)成為音樂行業(yè)對人工智能越來越依賴的最佳例證之一。
舉例來說,電腦是如何得知LadyGaga的Lovegame是一首性感熱曲的呢?
首先,人工智能是不知道你的感受的。“我們不知道音樂作品會對個體聽眾產(chǎn)生了什么影響,”Gracenote的研究副總裁在接受采訪時表示。相反,它試圖將音樂家的創(chuàng)作意圖作為一種內(nèi)在的情感品質(zhì),并對這些品質(zhì)進(jìn)行辨別。換句話說:它想要教電腦識別哪些歌曲是悲傷的,而不是識別哪首歌會讓聽眾感到憂郁,因為你的感受可能是因為個人的經(jīng)歷而產(chǎn)生不同的情緒。
教電腦識別音樂中的情緒有點(diǎn)像心理治療
首先,你得說出你的感受。Gracenote的音樂團(tuán)隊最初開發(fā)了一種分類標(biāo)準(zhǔn),這包括了超過100種氛圍和情緒,之后又將這個標(biāo)準(zhǔn)擴(kuò)充到了400多種類別。
其中一些是“性感”和“時髦”這樣比較經(jīng)典的類別,但也有一些極其具體的類別,比如“夢幻感”、“苦樂參半的柔情”和“絕望的瘋狂”。新的類別不斷被添加,而另一些則根據(jù)系統(tǒng)的表現(xiàn)進(jìn)行了微調(diào)。
“這是一個更新?lián)Q代的過程,”Gracenote的內(nèi)容架構(gòu)和探索主管彼得迪馬利亞解釋說,“分類在不斷進(jìn)化和演進(jìn)。”
除了這一系列情緒之外,Gracenote還使用所謂的“訓(xùn)練集”來進(jìn)行機(jī)器學(xué)習(xí)。該公司的音樂專家挑選了大約4萬首歌曲作為不同類別歌曲的例子。
匯編這種訓(xùn)練集本身就是一門藝術(shù)。迪馬利亞說:“我們需要確保提供了正確的范例。”與此同時,范例歌曲必須是這些情緒的最佳例證。他說:“有些歌兒風(fēng)格有點(diǎn)模糊。”
目前的培訓(xùn)內(nèi)容包括LadyGaga的Lovegame,這首是性感熱曲的范例;電臺司令的PyramidSond是哀傷風(fēng)格的范例;而碧昂斯的MeMyself&I則是感性和親密風(fēng)格的范例。
就像情緒本身一樣,訓(xùn)練集需要不斷地被更新以保持新鮮。迪馬利亞說:“藝術(shù)家們一直在創(chuàng)造新的音樂表達(dá)方式。我們需要確保系統(tǒng)已經(jīng)聽到了這些聲音。”尤其是快速發(fā)展的音樂類型,如電子樂和嘻哈音樂,需要頻繁更新。
對電腦而言,它肯能會將壓縮過的歌曲識別為一種音樂風(fēng)格。一旦系統(tǒng)接受了這些歌曲的訓(xùn)練,它就會被應(yīng)用到數(shù)百萬的音軌上。但電腦不會一首一首地聽播放列表上的全部歌曲。
相反,Gracenote的系統(tǒng)將每條音軌切割成700毫秒的片段,然后從任何這類片中提取大約170種不同的聲學(xué)值,比如它們的音色。此外,有時一首歌分辨相似的風(fēng)格須要用到更長的片段。然后這些值會與現(xiàn)有數(shù)據(jù)進(jìn)行比較,這樣一來將每首歌曲分類。
這樣的結(jié)果不僅是得到情緒風(fēng)格,而是得到每種情緒風(fēng)格的檔案。在此期間,Gracenote的團(tuán)隊必須定期確保不會出錯。“混音是一件非常復(fù)雜的事情。”樂器、人聲和各種效果疊加,并且音樂本身會被針對在汽車音響播放或在流媒體播放的不同而被優(yōu)化:這樣一來電腦可以聽的東西太多了,這包括了那些不屬于音樂本身東西。“它可以捕捉到很多不同的東西,”他說。
在無人監(jiān)督的情況下,Gracenote的系統(tǒng)可能會決定關(guān)注被壓縮的部分,并將它們與情緒相匹配,而Cremer則開玩笑說系統(tǒng)可能會決定:“這些都是96kbps,所以這些歌曲屬于悲傷風(fēng)格。”
被情緒分類的世界音樂
Gracenote將音樂分類按照情緒分類,它之后就會把數(shù)據(jù)傳遞給客戶,而客戶使用它的方式多種多樣。較小的媒體服務(wù)商通常會授權(quán)Gracenote獲取他們的音樂數(shù)據(jù),并進(jìn)行端對端的音樂整理和推薦。例如,媒體中心應(yīng)用開發(fā)商Plex使用該公司的音樂推薦技術(shù),為客戶提供個性化播放列表,以及被該公司稱作“情緒電臺”的服務(wù)。
Plex的用戶可以選擇“苦樂參半的柔情”這一風(fēng)格,然后等著聽到MazzyStar樂隊的迷幻之音。
Gracenote還向包括蘋果和SpoTIfy在內(nèi)的一些業(yè)內(nèi)最大的音樂服務(wù)運(yùn)營商提供數(shù)據(jù)。這些大公司通常不喜歡公開談?wù)撍麄兪侨绾问褂肎racenote的數(shù)據(jù)的。更大的流媒體服務(wù)公司一般都傾向于使用自己的音樂推薦算法,但他們通常仍會利用Gracenote的情緒數(shù)據(jù)來訓(xùn)練和改進(jìn)這些算法,或者幫助策展人預(yù)先選擇歌曲,這些歌曲隨后被編輯為播放列表。
這意味著樂迷們可能會敏銳地意識到Gracenote在情緒分類上做的工作,而其他人可能無法察覺該公司的人工智能技術(shù)是如何幫助他們提高音樂體驗的。
不管怎樣,Gracenote必須確保其數(shù)據(jù)在國際上得到妥善的轉(zhuǎn)碼,尤其在它即將在別的國家開展業(yè)務(wù)之際。
該公司宣布將在歐洲和拉丁美洲開始銷售其音樂數(shù)據(jù)產(chǎn)品,其中包括情緒分類標(biāo)準(zhǔn),以及在分類中使用到的描述性、整潔的元數(shù)據(jù)。
為了確保這種轉(zhuǎn)碼過程中沒有任何損耗,該公司聘請了國際編輯,他們不僅翻譯了“感傷”一詞,而且還會聽一些歌曲,以找出在他們的文化背景下哪種表達(dá)最有效。
國際關(guān)注是雙向的
Gracenote也不斷在全球范圍內(nèi)搜尋新的國際聲音,以滿足其訓(xùn)練集的需求。“我們的數(shù)據(jù)可以用于所有那些即將消失的聲音,”他說。
像Gracenote這樣的公司不僅依賴人類,而且還依賴人工智能和機(jī)器監(jiān)聽等技術(shù);最終,我們將會能夠?qū)θ澜缢幸魳愤M(jìn)行分類。
在很多方面,教計算機(jī)識別悲傷的歌曲實際上可以幫助人類獲得更好、更有意義的音樂體驗。
如果僅僅依靠人類進(jìn)行分類,那么會有上百萬首歌曲無法分類,而人們也無法獲得個性化的音樂列表。
利用數(shù)據(jù)和技術(shù)來解鎖世界音樂是他工作中最令人興奮的部分之一,Cremer說:“我在這里的原因是要確保每個人都能接觸到所有被妥善分類的音樂。”