音樂大師聯手Siri構建AI作曲家!根據環境、心情創作專屬BGM

音樂大師聯手Siri構建AI作曲家!根據環境、心情創作專屬BGM

根據環境和情緒播放合適的背景音樂,是動漫裡常見的挑動情緒的方法。而現在,一款播放器或許也可以隨時隨地創作屬於你的BGM!

Philip Sheppard是一位傑出的作曲家,他錄製過大提琴獨奏專輯,已經創作了60多個唱片,並為奧運會獎牌儀式改編過206首國歌。他對艾比路錄音工作室(Abbey Road Studio)的每個角落都了如指掌。雖然他的工作是創作音樂,但有些時候他也只是在傾聽別人的音樂,尤其是當他在樹林裡散步的時候。

在2016年的一次散步時,他不想由自己來選擇播放哪種音樂。相反,他想像著某種神奇的音樂在他的耳機中自動響起,這個音樂可以動態地反映出他所處的周圍環境和他的心情——這將是他閒逛時的真實配樂。當溫暖的日光穿過樹林,小提琴奏出顫音,旋律隨之飛揚,而長笛則會與鳥鳴聲一起啼囀。

「讓音樂跟隨我的心情,而不是由我自己來選擇播放哪首音樂。」他說,「此外,當我改變方向準備回家,或太陽落山時,我希望音樂也能隨之改變。」

為此,該系統不僅必須能夠處理多個輸入(比如聲音,視覺,生物辨識,速度,天氣訊息),還必須充分理解音樂,這樣才能將這些輸入轉換為連貫的音樂變化。Sheppard試圖這樣來概括——那些潛在的輸入可能會改變對音樂最基本的解釋。但是,如果想真正實現這個想法,他還需要一位人工智慧專家。

幸運的是,Sheppard知道最合適的人選是誰:Tom Gruber。他是Siri智慧助手的共同創造者,後來成為蘋果公司的AI高級主管之一。Gruber在TED演講中提到過「人類AI」,以此敦促人與機器之間的協作。

他們兩人在2010年蒙特雷的一次會議上相識,並成為了朋友。因此,在2017年,他們在聖克魯斯海岸一起默默(Santa Cruz coast)散步時,Sheppard向Gruber提出了這個想法。隨後他們成為了一家新公司的首席執行長和首席技術長(Gruber於2018年離開了蘋果。)

三年後,LifeScore誕生了,它可以進行音樂創作,可以與頂尖藝術家一起錄製歌曲,還可以向從視訊遊戲到汽車製造商的各種企業開放音樂授權。

聽眾會聽到這些配樂的各種獨特組合,並即時進行混音。在配樂作曲家將他們的作品同步到腳本上時,LifeScore的作品由AI來指揮。

AI將琶音和輕柔的樂章與聽眾的體驗實時匹配,以作曲家從未想過的方式,將音樂小節和樂器重新組合。

該公司將於本週四舉行公開亮相,屆時LifeScore將為Twitch平台上腳本化真人實景劇《Artificial》的新一季進行配樂伴奏。

《Artificial》是現場直播,由觀眾的反應來決定音樂的風格——「選出你自己的音樂奇遇」。也就是說,使用LifeScore,觀眾的反應會影響音樂。

LifeScore的首席執行長Philip Sheppard在艾比路錄音棚演奏大提琴但這只是LifeScored 的雄心壯志剛剛被拉開的序幕:提供有意義的音樂體驗。Sheppard說,作為作曲家,他最大的興奮來自於那些以前僅存在他腦海和音樂符號中的樂譜,逐漸被音樂家們轉化為聲音的過程。

他說:「作為一個創造者,這正是創作生涯的刺激所在。」 現在,他想為人們的日常活動中也提供這些刺激。

「如果可以的話,我希望每個人每次聽音樂時都會發生這種情況。」他說。「這樣人們就可以都成為能平衡多種因素的作曲家。」

但是,如果沒有另一個合作者AI,這一切都不會發生。Gruber和他的小型工程師團隊負責創建一種引擎,該引擎可以接受各種輸入因素,並且即時重建樂譜(改變音調、節奏、樂器),還能讓聽眾聽起來似乎從一開始就是這種樂譜。

這些都需要讓LifeScore引擎透過學習,成為一名音樂大師。他說:「這裡當然包括了音樂學,背後是有理論作為支撐的。」

「這看起來很奇怪,但這是可行的。」

那麼LifeScore究竟是如何做到的呢?就像其他音樂一樣,它始於人類創造者。Sheppard和Gruber都強調,他們不希望像以前所做的一些嘗試那樣由演算法自己編寫樂譜。

Gruber說:「我的整個職業生涯都是努力讓我們有所提高,而不是單純實現自動化。世界上有很多音樂,還有很多音樂家。但是我們所沒有的,是那種與音樂互動,並幫助我們創作音樂的經驗。」

LifeScore的作曲家們必須清楚,他們不是音樂導演,而是合作者,他們要創造一個由AI引擎和聽眾自己輸入的因素來製作的音樂基底。

這些創作者並不是在譜寫獨立的交響曲或流行音樂,而是在創作可以無休止進行重組的作品。Sheppard說,這就像是在音樂上堆樂高積木。各種樂器可以單獨演奏,也可以用複雜的方式進行編排,進而演奏出不同的音樂。

錄音室中幾個小時的音樂,透過這種方式可以延長到數千小時,並且無一重複。

Sheppard在他位於倫敦的客廳中通過Zoom向我展示了最終產品。在他身後,我看到他的大提琴靠在椅子上。

他穿著帶有霓虹黃色束帶的灰色連帽衫,開始為他的森林漫步創作一首合適的配樂。在他的iPhone上播放的新古典音樂清新明快,令人振奮。

他將手機向左擺動,音樂便響應了陀螺儀的報告(Lifescore公司補充說,目前該系統還不能處理生物辨識輸入,因此這樣做其實是「微不足道的」)

當琴弦向天堂延伸,我們將會聽到更多美妙的聲音。他說:「現在,大提琴的聲音越過了頭頂——我們過去不會這樣創作,我以前從未聽過這種音樂。」

《Artificial》是測試LifeScore的理想工具。該劇講述了一個機器人和她的創作者的比馬龍式故事,演員在現場表演,並透過觀眾的回饋來決定後續情節。

執行製片人Bernie Su希望在新一輪上演期中有所改變,他說,他對Sheppard的LifeScore演示感到震驚。

Su解釋說:「每個角色都有特定的音樂主題,比如Peter和Wolf。」根據人們在聊天頻道中明確表達的情緒,音樂主題會在四個情感類別中發生改變:快樂,悲傷,神祕,還有緊張。

(這種遲鈍的輸入形式將隨著時間而不斷變得更加複雜。最終,隨著AI辨識能力的提升,LifeScore也許能充分理解自己應該表達哪種音樂情感,進而更好地詮釋每一個場景的圖像,聲音和語言。)

可以理解如何將這些情感轉化為音樂語言的AI,也會相應地改變樂譜,比如在聽眾緊張時放慢速度。這些情感類別中的每一類,都具有三個強度等級——許多回饋可以根據音量或樂器來增強音樂的聽感。

就像作曲家一樣,AI引擎也可以理解音樂是如何喚起觀眾情感共鳴的。Su說:「這是一種可以讓聽眾身臨其境,並且優雅、複雜、還沒有損害的方法。第一集還沒有播完,但是我已經非常非常激動。」

LifeScore的另一個重要娛樂用途是視訊遊戲。Sheppard不僅為該類型的音樂製作了許多配樂,而且他認為,LifeScore可以將幾個小時的錄音時間延伸到幾乎無限長度的音樂情緒和曲調中,這在虛擬遊戲中將比目前無休止地循環播放更有優勢。

為企業客戶創造聽覺空間是一個巨大的市場。Gruber說:「公司現在將音樂視為我們整體產品銷售的一部分。因此,我們正在關注這方面。」

這個行業的鼻祖是繆扎克(Muzak,又叫罐頭音樂),它已經成為了一個用來形容安眠藥的貶義詞。猶如糖漿封面一般含糊的流行音樂曲調——聽眾需要的鎮靜劑比催化劑更多。

也許這就是繆扎克公司於2017年更名為Mood Media的原因。這家公司是一個授權巨頭,它的成功是透過一些指標來衡量的,比如某個商店銷量增加,是否與這個商店使用了它上千個複雜程式編輯而成的自定義錄製播放列表有關。

看起來LifeScore正在與Mood Music直接競爭。但是Sheppard和Gruber認為這些產品處於不同的領域。

Muzak提供的音樂體驗是潛意識的;LifeScore則希望將周圍的音樂世界變成一個充滿激情的創作機器。Sheppard熱情地講述了他向「一個嚴肅的商務人士」進行演示的情景,那位商務人士將手機移動到特定的音樂序列時,突然哭了出來。

Sheppard說:「這種體驗非常舒暢愜意,但是我覺得,他也很尷尬。」(為了便於記錄,在整個示範過程中,我努力讓自己的眼睛始終保持乾涸狀態)

該公司認為駕駛是一個理想的LifeScore場景,他們表示正在與汽車製造商進行談判。如果可以的話,使用者的輸入內容可能包括速度,路況,天氣以及到目的地的距離。

他們希望打入的另一個大市場是健康,因為心律和其他生物辨識技術有助於參與創作。Lifescore已經錄製了數小時的樂高積木音樂家工具包,其中包含了適合瑜伽、有氧運動、冥想的音樂。

LifeScore表示,他們想瞭解人們對音樂訊號的反應,因此正在研究巨大的生物辨識和行為數據集。隨後,LifeScore將會學習如何調整音樂創作,進而「優化身心健康,比如放鬆身體、衡量體力水準,以及冥想專注。」

另一種情況是,如果我們回到辦公室,我們可以將LifeScore當做辦公室的環境音樂。Gruber說,當音樂收到人體姿勢下垂的訊號時,它可能會激發我們的精力。

他說,與更直截了當的提高生產率的方法不同,LifeScore的暗示將是受歡迎的。「如果你正在聽音樂,那你可以用更人性化的東西,而不是過於直接的回饋。」

不過我懷疑,現在正在辦公室裡用耳機聽歌的數百萬人,可能都不會覺得這很友好。因為他們也不一定就歡迎攝影機或其他會注意他們工作姿勢的傳感器。

Sheppard說,當他剛開始在艾比路錄音棚工作時,他總是使用二號錄音室,因為在那裡,披頭四合唱團的幽靈可能仍在流連。喬治‧馬丁(George Martin)留給工作室的麥克風也仍然在這裡,Sheppard可以隨時使用。

他還去過洞穴一般的一號錄音室,在那裡曾經一度聚集了90位音樂家,只為一款電子遊戲錄製背景音樂。「但實際上,我最愛的是三號錄音室。」他說。那是平克‧佛洛伊德(Pink Floyd)錄製《月之暗面》的地方,後來音樂家們又在那裡為《Artificial》創作了配樂。

與工作室這幾十年來創作的作品不同,這些音樂永遠不會登上樂曲排行榜。在它們從客廳、汽車、瑜伽館還有森林裡聽眾的揚聲器和耳機播放出來之前,它們甚至都不會被完成。

LifeScore的AI增強音樂會以他們自己的方式來成為熱門嗎?也許只有當他們真正能提供那些創作刺激時。更不用說,如果他們能以友好的方式提高辦公效率了。

bigdatadigest
作者

大數據文摘(bigdatadigest)成立於2013年7月,專注數據領域資訊、案例、技術,在多家具有影響力的網站、雜誌設有專欄,致力於打造精準數據分析社群。

使用 Facebook 留言
發表回應
謹慎發言,尊重彼此。按此展開留言規則