【微分享】索尼黑科技專欄——拓展360臨場音效生態(tài)，打造沉浸式音樂體驗

    “建立在堅實技術(shù)基礎(chǔ)上的創(chuàng)意娛樂公司”索尼，始終以“人”為本，在前沿技術(shù)領(lǐng)域不斷探索進取。后疫情時代，索尼黑科技正式確立了3R戰(zhàn)略（真實（Reality）、實時（Real-time）和遠程（Remote），致力于為內(nèi)容創(chuàng)作賦能，共同開創(chuàng)前所未有的娛樂表達方式?！八髂岷诳萍肌睂趯⒍ㄆ跒槟榻B較具代表性的索尼技術(shù)創(chuàng)新成果，探索如何“用創(chuàng)意和科技的力量感動世界”。 本期將為您帶來的是——360臨場音效。

    索尼360臨場音效讓聽眾沉浸在仿佛來自四面八方的聲音中，似乎樂隊就在眼前演奏。自2019年秋天推出以來，集成索尼集團技術(shù)積累而打造的這種全新音樂體驗，通過與著名藝術(shù)家的成功合作，獲得了人們的關(guān)注。目前，索尼正在構(gòu)建一個生態(tài)系統(tǒng)，將這一體驗帶給全世界的人們。

受訪人信息：

球形聲場帶來的沉浸式體驗

──究竟什么是360臨場音效？

富岡萬紀：360臨場音效是一種全新的音樂體驗，使用索尼基于對象的音頻技術(shù)創(chuàng)造一個逼真的聲場。我們通過提供制作、分發(fā)和播放兼容內(nèi)容所需的技術(shù)，打造一個開放的生態(tài)系統(tǒng)。具體來說，在內(nèi)容制作過程中，位置信息被附加到每個聲源上，如人聲、和聲、樂器等，并被置于一個球形空間內(nèi)。為了將這種新的娛樂形式順利地推介給廣大用戶，索尼向創(chuàng)作者和藝術(shù)家提出了一系列技術(shù)建議。自2019年秋季該服務(wù)推出以來，歐洲、美國和亞洲的多個流媒體服務(wù)已經(jīng)發(fā)布了不同類型的兼容音樂。

──360臨場音效與其他立體聲場的體驗有何不同？

海野由紀子: 它有三大特點。首先，由于它從制作到分發(fā)都是基于對象的，因此可以根據(jù)不同播放設(shè)備上的各種收聽方式進行調(diào)整，從而實現(xiàn)高質(zhì)量的聲場再現(xiàn)。這里的"基于對象"是指根據(jù)接收方的喜好和音頻系統(tǒng)傳遞聲音素材和元數(shù)據(jù)，生成音頻信號的方法。再則，在內(nèi)容創(chuàng)作過程中，創(chuàng)作者和藝術(shù)家可以將人聲、和聲、樂器等聲源自由定位在一個球形的空間內(nèi)。還有一個較重要的功能是，通過智能手機拍攝的耳朵照片分析個人的聽覺特征，可以針對個人進行聲學(xué)優(yōu)化，讓他們在使用耳機播放的情況下也能享受到360臨場音效的音頻體驗。除此之外，它基于MPEG-H 3D音頻國際標準，因此可以在整個音樂行業(yè)廣泛使用，該格式可以通過智能手機和其他移動設(shè)備進行流媒體播放，是音樂分發(fā)服務(wù)的理想選擇。

──哪些技術(shù)是用來分析個人聽覺特征的？

福田和巳: 為了重現(xiàn)身臨其境的空間聲場，針對每個聽眾的獨特聽覺特征優(yōu)化播放效果是非常重要的。當聲音到達你的耳膜時，它已經(jīng)在幾個不同的表面上進行了反射和衍射，包括地板、墻壁，甚至你自己的身體。聲音的特性會根據(jù)人的耳朵與聲源的相對位置發(fā)生變化，人們會根據(jù)這些差異下意識地判斷聲音來自哪里。360臨場音效就是利用這些聲音特性，讓人產(chǎn)生從耳機外聽到聲音的感覺，從而再現(xiàn)空間聲場。然而，人的耳朵和頭部形狀不同，對聲音的感知也不同。因此，要想獲得更深的沉浸感，就必須進行個性化優(yōu)化。我們開發(fā)了一種個人優(yōu)化算法，根據(jù)我們記錄頭部/耳朵形狀和聽力特征之間關(guān)系的專有的數(shù)據(jù)庫，利用機器學(xué)習從耳朵的照片中預(yù)測聽覺特征。因此，通過使用"Sony | Headphones Connect"應(yīng)用程序拍攝耳朵照片，用戶可以使用云端的算法分析自己的聽覺特征，并創(chuàng)造優(yōu)化的聲音體驗。

雖然使用任何廠商的耳機都可以享受到兼容360臨場音效的內(nèi)容，但若想打造更為優(yōu)化的聆聽體驗，則需要索尼耳機對于個人聽覺特征的分析。上圖中行業(yè)領(lǐng)先*的WH-1000XM4降噪耳機就是索尼的推薦產(chǎn)品之一。

*截至2020年4月21日，基于索尼研究，采用符合JEITA標準的準則測量，指頭戴式降噪耳機市場。

──開發(fā)和推出這項服務(wù)較困難的部分是什么？

海野由紀子：提高個性優(yōu)化聲音體驗的準確性是一個挑戰(zhàn)。索尼基于用戶耳朵的照片推斷個人聽覺特征的專有技術(shù)，集成了圖像處理技術(shù)、人工智能技術(shù)、空間聲學(xué)理論和人耳數(shù)據(jù)庫，且都為自主研發(fā)。我們?yōu)檫@個想法感到非常自豪，但要將其付諸實踐，我們需要復(fù)查數(shù)據(jù)庫并為用戶創(chuàng)建拍攝照片的方法。模型推出之前，我們做了很多準備工作。一開始，我們努力提高音質(zhì)和聽源定位，使得很難界定個性優(yōu)化的標準。于是，我們從頭審視了處理流程，找出了影響準確性的處理模塊。通過集中精力改進這些模塊的算法，我們得以改善了音質(zhì)和聽覺定位。我們非常感謝那些幫助我們進行大量評估的人。較終，我們能夠?qū)崿F(xiàn)發(fā)布更加沉浸式的聲音體驗。該產(chǎn)品在日本和海外都進行了評估。我們設(shè)置了可以體驗360臨場音效的試聽室，并為廣泛的聽眾進行了音質(zhì)評估。我們對這種新的音樂體驗將如何被接受感到緊張，但還是得到了非常積極的反饋，比如 "就像被聲音包圍了"，"就像置身于現(xiàn)場音樂會中"。這給我們推出這一服務(wù)增強了信心。

優(yōu)化聽覺特征，讓用戶體驗到沉浸感，如同置身演出現(xiàn)場。

富岡萬紀：在推出之前，我們面臨著一項新業(yè)務(wù)會遭遇的所有挑戰(zhàn)。我們與唱片公司、藝術(shù)家、混音工程師和音樂發(fā)行公司進行了艱難的談判。我們還前往海外，向盡可能多的人展示360臨場音效的價值。這種全新的音樂體驗有望促進行業(yè)發(fā)展，我們認為，如果人們能夠理解我們所提供的價值，合作伙伴范圍將會擴大。果不其然，甚至是那些較初對空間音效持懷疑態(tài)度的人，在我們演示后也給予了非常積極的反饋，演示后也總會引發(fā)進一步的討論。

調(diào)動整個音樂產(chǎn)業(yè)參與內(nèi)容制作

──你們也在專注于創(chuàng)造兼容的內(nèi)容。除技術(shù)開發(fā)外，為什么還關(guān)注內(nèi)容創(chuàng)作？

富岡萬紀：制作各種高質(zhì)量、有吸引力的內(nèi)容，是為人們創(chuàng)造一個新的生態(tài)系統(tǒng)，使其享受360臨場音效等空間音頻的關(guān)鍵。索尼的研發(fā)中心、索尼家庭娛樂和音頻產(chǎn)品公司和工作室工程師密切合作，推動內(nèi)容制作直至該服務(wù)推出。

──你們是如何合作為360臨場音效創(chuàng)作內(nèi)容的？能否介紹一下你們的具體工作流程？

福田和巳：研發(fā)中心開發(fā)了360臨場音效制作工具，并提供給各大廠牌的制作工作室。這些制作工具可以讓工程師在球形空間內(nèi)自由放置樂器和人聲，而工具中所搭載的空間音頻技術(shù)可以讓他們使用耳機和揚聲器確認位置。

富岡萬紀：業(yè)務(wù)開發(fā)部將制作的基礎(chǔ)設(shè)施引入到索尼音樂娛樂公司（SME）及其附屬的一些工作室，并對其工程師進行了內(nèi)容制作方面的培訓(xùn)。在與流媒體服務(wù)商討論了可行的內(nèi)容后，我們會接洽唱片公司，并請他們制作。我們還開發(fā)了一個360臨場音效應(yīng)用程序，用于處理藝術(shù)家對混音歌曲的審批。

海野由紀子：產(chǎn)品技術(shù)二部與業(yè)務(wù)開發(fā)部及工作室工程師合作，挖掘了一連串的內(nèi)容制作技巧。通過多次嘗試和試驗，我們總結(jié)出了一套能有效產(chǎn)出360臨場音效的聽覺定位、空間感、韻律感等關(guān)鍵特征的方法。

Mark Wilder：Battery studios（索尼音樂娛樂公司位于美國紐約的音樂制作機構(gòu)）與各個團隊攜手合作，為軟件和技術(shù)進步提供想法，并幫助準備來自SME和其他唱片公司內(nèi)容。Battery Studios致力于“One Sony”戰(zhàn)略，這是一個非常充實的過程。

為世界各地的用戶提供感動人的音樂體驗

──能和我們分享未來的計劃和發(fā)展?jié)摿幔?/p>

富岡萬紀：自2019年10月在紐約舉行360臨場音效發(fā)布會以來，我們收到了很多來自業(yè)內(nèi)專業(yè)人士和用戶的積極反饋，360臨場音效的市場占有率也在穩(wěn)步增長。日前我們一直在努力發(fā)行The Chainsmokers和Kane Brown等索尼音樂娛樂旗下熱門藝人的歌曲。未來，索尼計劃在各個國家建立合作關(guān)系，旨在進一步擴大用戶群。

Kane Brown利用360臨場音效發(fā)布了兩張較新專輯

海野由紀子：我想，我們能夠在新興的空間音頻領(lǐng)域創(chuàng)造出這一全新的音樂體驗，要歸功于我們員工多樣化的知識儲備。我們希望大家能享受這種全新的、沉浸式的聲音體驗。我們將繼續(xù)挑戰(zhàn)在音頻領(lǐng)域開發(fā)新技術(shù)。

Mike Piacentini：在過去的幾年里，看到索尼集團全體員工齊心協(xié)力在不同國家跨不同的業(yè)務(wù)集團共同推出一款產(chǎn)品，我感到非常榮幸。

福田和巳：在瞬息萬變的社會環(huán)境中，娛樂業(yè)不斷發(fā)展，我希望為用戶提供全新的音樂體驗，并尋找新的方式為他們提供感動（kando）。