【微分享】索尼黑科技專欄——連接現(xiàn)實和虛擬世界的現(xiàn)場音樂體驗 徹底拉近歌迷、藝術(shù)家和內(nèi)容之間的距離

    “建立在堅實技術(shù)基礎(chǔ)上的創(chuàng)意娛樂公司”索尼，始終以“人”為本，在前沿技術(shù)領(lǐng)域不斷探索進取。后疫情時代，索尼黑科技正式確立了3R戰(zhàn)略（真實（Reality）、實時（Real-time）和遠程（Remote），致力于為內(nèi)容創(chuàng)作賦能，共同開創(chuàng)前所未有的娛樂表達方式?！八髂岷诳萍肌睂趯⒍ㄆ跒槟榻B較具代表性的索尼技術(shù)創(chuàng)新成果，探索如何“用創(chuàng)意和科技的力量感動世界”。本期將為您帶來的是——連接現(xiàn)實和虛擬世界的現(xiàn)場音樂體驗。

    新冠肺炎疫情加速了音樂活動在線直播的發(fā)展。與此同時，這些經(jīng)歷讓人們意識到，沒有觀眾的在線直播音樂會與真實的親身體驗有多么不同。因此索尼決心解決這個問題。作為其 " Lindbergh項目"的一部分，這是舉全集團之力推進的擴展現(xiàn)實（XR）娛樂計劃，索尼旨在提供一種全新的體驗，通過使用VR技術(shù)連接藝術(shù)家和粉絲，來連接現(xiàn)實和虛擬世界。為了了解更多關(guān)于這個項目現(xiàn)在的情況和未來的走向，我們采訪了項目開發(fā)負責人今村隆和負責UI/UX和交互開發(fā)的高橋一真。

受訪人資料：

索尼對于全新VR現(xiàn)場音樂活動體驗的愿景

Q：您所說的 "連接現(xiàn)實和虛擬世界的現(xiàn)場音樂體驗" 是什么意思？

今村隆：索尼并不是唯一一家尋求使用VR技術(shù)向粉絲提供現(xiàn)場音樂體驗的公司?，F(xiàn)在市場上已經(jīng)有了一些服務。大多數(shù)情況下，VR攝像機被安裝在會場，內(nèi)容通過頭戴式顯示器展示給觀眾，讓觀眾在家中進行觀看。但是，藝術(shù)家的表演并不是在那個物理空間中唯一發(fā)生的事情。在現(xiàn)場，你可以感受到周圍興奮的粉絲的熱情，享受與藝術(shù)家的互動，并在周邊商店里購買商品和其他物品。如果沒有這些元素，虛擬就遠遠不如真實的體驗。我們要做的是將這些真實體驗的價值轉(zhuǎn)化并移植到虛擬世界中，同時也為體驗添加一個獨特的虛擬維度，創(chuàng)造全新的價值。

連接現(xiàn)實和虛擬世界的現(xiàn)場音樂體驗——它看起來是什么樣的？

場館大廳

在演出前，在大廳與你的朋友見面，分享你對即將到來的演出的興奮，選擇一個熒光棒或其他物品帶入會場，而且可以在音樂會前試用一下。

在舞臺前

即使在現(xiàn)場表演時也可以與朋友互動，一起為表演者加油。你甚至可以鼓掌和揮舞熒光棒或其他物品來表示支持。你不僅可以看到你的朋友，同時也可以看到會場上所有其他的粉絲。

演出過程中

現(xiàn)場表演不僅僅是流媒體音樂和視頻，還帶有互動功能：觀眾的座位與視頻同步移動，藝術(shù)家可以回應他們激動的粉絲，向他們發(fā)送飛出的心等等，使舞臺表演更加精彩。

演出結(jié)束后

演出結(jié)束后，你回到大廳，可以一邊享受演出的余韻，一邊與朋友談論音樂會的情況。在演示時，還向用戶發(fā)送了領(lǐng)取演出照片的機會（甚至會有驚喜，如隱藏在照片背面的藝術(shù)家的簽名或留言）。

Q：這個項目是什么時候開始的？怎樣開始的？

今村?。哼@段時間，我們一直致力于現(xiàn)場音樂空間的VR流媒體方面的探索，2019年12月在PlayStation? VR上取得了顯著的成功。從那時起，我們一直在努力改進VR拍攝技術(shù)，以提高圖像質(zhì)量。我們還參與了一些與提供場地音頻有關(guān)的不同挑戰(zhàn)，這是在線音樂活動體驗的重要方面。在這個領(lǐng)域，我們實現(xiàn)了Survive Said The Prophet的VR音樂體驗，它在2020年獲得了美國的Lumiere Award大獎。然而，當我們與音樂現(xiàn)場的粉絲交流時，得到的反饋很明顯，僅僅提供音頻和視頻是不夠的。他們說，團結(jié)統(tǒng)一的現(xiàn)場感是很重要的。我們想知道，如何能夠利用技術(shù)將這些體驗帶入生活，這個項目就應運而生了。

高橋一真：從那時起，我們進行了大量的討論，意識到除了音樂表演本身之外，表演前與朋友聊天、享受音樂余韻以及身處環(huán)境中的高雅氛圍等方面都是現(xiàn)場表演的重要內(nèi)容。我們一致認為，逼真的高畫質(zhì)、近距離接觸藝術(shù)家、隨意改變攝像機角度等元素是VR現(xiàn)場體驗的較佳部分，但僅有這些元素是不夠的。

今村?。何艺J為在目前的疫情挑戰(zhàn)下，現(xiàn)有的遠程在線演出形式意義非凡。但是，你只是在客廳里用智能手機的小屏幕觀看，在演出結(jié)束的那一刻，樂趣就結(jié)束了，而且沒有辦法享受前后的氣氛，這有點遺憾。

連接藝術(shù)家與粉絲，粉絲與粉絲

Q：在虛擬空間中重現(xiàn)音樂活動現(xiàn)場的氣氛時，有什么要著重注意的嗎？

今村?。狠^重要的是要避免任何沉浸感的削弱。你需要避免任何將用戶拉回現(xiàn)實并讓他們思考 "等等，我在做什么？"的事情。在這方面，我們所做的一件事是盡量減少控制，使其簡單而直觀。我們開發(fā)了更多的物理控件，讓用戶真正地拍手和豎起大拇指，而不是像過去的音樂VR內(nèi)容那樣，按下控制器上的一個按鈕來揮舞熒光棒。這比我們想象的更有效，讓用戶有一種通過移動身體而與音樂同步搖擺的感覺，使整個體驗更加有趣。

高橋一真：你剛才看到的演示帶有預先錄制好的音樂會片段，包括藝術(shù)家們準備好的虛擬反應，但如果你嘗試一下，仍然可以享受到與藝術(shù)家互動的感覺。你可能會大喊大叫，結(jié)果藝術(shù)家還是與你旁邊的人互動，而不是跟你互動......但這讓你覺得要更大聲的呼喊才行。藝術(shù)家和粉絲之間的這種聯(lián)系，以及粉絲和其他粉絲之間的聯(lián)系，是我們的一個關(guān)鍵重點。

你說的對—在現(xiàn)場和同齡人在一起，在感受他們的動作和聲音的同時享受表演，真的感覺很新鮮。

今村?。哼m當控制觀眾群內(nèi)的交流也是非常重要的。目前，演示系統(tǒng)允許多達28個用戶同時參與同一現(xiàn)場音樂活動，但你只能較多與四個人通過語音聊天密切交流。與這四個人之外的參與者的互動僅限于非語言交流；你聽不到他們說什么，但可以聽到他們鼓掌，看到他們揮舞熒光棒。

高橋一真：除了保持朋友之間的密切溝通，我們非常注重保證周圍粉絲的真實感。你周圍的觀眾看起來并不會像CG或機器人簡單地揮舞著他們的熒光棒，我認為這有助于增強演出中的沉浸感。

今村?。河^眾座位的安排是為了讓每一個參與者都有一個較好的座位來享受音樂會。這是只有在VR中才能做到的。當然，粉絲們喜歡這樣，但內(nèi)容創(chuàng)作者和藝術(shù)家也喜歡這樣，因為這可以讓他們在演出中向每一位觀眾準確地展示他們想要的東西。盡管如此，我們還是要注意保持參與者在群體中的相對位置，以便在與朋友交流時不會出現(xiàn)矛盾的動作，例如在相互揮手時。

在索尼多元資產(chǎn)的高歌猛進中促進技術(shù)的進步

Q：你在 " Lindbergh計劃 "中的經(jīng)驗是如何被用來實現(xiàn)這一切的？

今村?。? Lindberg "是我們在過去三年中一直致力于的一個全集團項目，我們不斷與這些領(lǐng)域的專家討論拍攝、成像和音頻技術(shù)。在這次構(gòu)建互動體驗時，我們也參考了互動技術(shù)團隊的原型。

高橋一真：雖然我們以前也參與過一些集團范圍內(nèi)的項目，但對我們來說，這是個特殊的機會，可以與藝術(shù)家和娛樂行業(yè)的其他人如此緊密地聯(lián)系在一起。我們讓娛樂專家看了我們這些技術(shù)領(lǐng)域的人創(chuàng)造的原型，并一起工作，來解決批評意見，并納入他們的想法和建議，以提出新的體驗。

今村?。焊唧w地說，具有不同背景的團隊成員集思廣益，創(chuàng)造出一個抽象的、獨特的VR現(xiàn)場音樂體驗的概念。然后，由高橋一真領(lǐng)導的創(chuàng)意中心團隊通過故事板將這個想法可視化。然后，這些具體的想法由團隊成員審查，并檢查是否有與概念不一致的地方。有時，技術(shù)團隊成員會創(chuàng)建一個簡單的原型來驗證這個概念。我們一遍又一遍地重復這個過程，較終形成了現(xiàn)在的體驗。

因為我們傾向于從技術(shù)出發(fā)提出想法，所以索尼音樂團隊成員的意見對于了解藝術(shù)家和娛樂行業(yè)其他人的觀點是非常有用的。類似的激烈討論持續(xù)了大約三年，而討論的精髓已被應用到當前的演示中。

挑戰(zhàn)：提供低延遲的藝術(shù)家互動

Q：在這個過程中，有沒有什么技術(shù)障礙是一個特別的挑戰(zhàn)？

高橋一真：在我的設(shè)計領(lǐng)域里，可能是要找出視覺表達的解決方案。雖然我在電視等顯示的二維視覺設(shè)計方面有很多經(jīng)驗和知識，但在用戶可以隨意移動的三維空間里，這些經(jīng)驗在很多情況下是完全沒有用的。例如，2D圖像中的一個微不足道的指令，如閃亮的粒子雨，在虛擬空間中看起來與你的預期可能完全不同，會難以看清。解決此類問題是體驗中令人耳目一新的部分。

Q：你認為未來會遇到哪些技術(shù)上的障礙？

高橋一真：我想繼續(xù)接受挑戰(zhàn)，即如何利用技術(shù)和設(shè)計來較好地展現(xiàn)藝術(shù)家的表演。我們怎樣才能讓周圍只有綠色屏幕的藝術(shù)家們看到，他們的粉絲正在虛擬的會場空間里為他們加油呢？這就是數(shù)據(jù)可視化——我們的專業(yè)領(lǐng)域的意義所在?，F(xiàn)在，我正在研究如何讓藝術(shù)家看到如：右邊的粉絲揮手歡呼，而其他人則用熒光棒在空中寫寫畫畫。

今村?。宏P(guān)于藝術(shù)家與粉絲之間的交流，演示中使用了從場景中心發(fā)出的互動效果。然而，在實際的現(xiàn)場表演中，我們將需要使用傳感器來跟蹤身體動作，如臉部位置和手部動作，并在此基礎(chǔ)上產(chǎn)生特殊效果。索尼的傳感器和相機技術(shù)將在這方面發(fā)揮巨大的作用。展望未來，我想繼續(xù)追求一種在實際現(xiàn)場音樂表演中無法獲得的體驗，一種超越現(xiàn)實生活的體驗。

在此基礎(chǔ)上，我們將需要解決延遲問題。以目前的流媒體技術(shù)，這種規(guī)模的內(nèi)容將導致約20秒的單向延遲。這么長的延遲會扼殺藝術(shù)家和粉絲之間任何形式的真正交流。為了解決這個問題，我們不僅需要技術(shù)解決方案，還需要對用戶體驗進行更多思考。這個解決方案可能需要在音樂會場地建立某種基礎(chǔ)設(shè)施，由于場地業(yè)務是索尼音樂集團的專長，我相信他們能想出一些獨特的 "索尼方案"。

擴展到現(xiàn)場音樂表演之外的發(fā)展前景

Q：您能談談超越現(xiàn)場音樂活動體驗的發(fā)展前景嗎，將現(xiàn)實和虛擬世界連接起來？

今村隆：我認為除了現(xiàn)場音樂活動，我們還可以在其他領(lǐng)域使用這種形式。這會有很多的可能性。它可以用于教育，以觀眾參與的形式放映電影，這在較近變得很流行，也可以用于其他領(lǐng)域。我想把它擴展到取決于交流的內(nèi)容和體驗。

高橋一真：我期望這項技術(shù)可以用來拉近粉絲、藝術(shù)家和內(nèi)容之間的距離。在未來，我想創(chuàng)造一些東西，讓人們在同一時間分享經(jīng)驗，同時實際存在于同一空間。分享的同時性是特別重要的。我認為，彼此分享千載難逢的時刻是體驗的核心和靈魂。

今村?。何艺J為通過這一舉措，我們終于成功地創(chuàng)造了一種體驗，其中包括允許人們在虛擬空間中真正享受某些東西的基本要素。我相信，從這里開始，通過添加各種技術(shù)元素，我們可以創(chuàng)造出令人驚奇的、全新的東西。

Q：較后，請告訴我們一些你認為只有索尼能做或創(chuàng)造的事情。

今村?。核髂岬纳衿嬷幵谟?，我們在集團內(nèi)部擁有大量的專業(yè)知識技能。如果你去市谷或六本木的索尼音樂集團，你可以和娛樂行業(yè)的人交談。如果你去Sony City，或厚木技術(shù)中心，你可以見到相機和圖像傳感器工程師，如果你去大崎，你可以見到音頻工程師和研發(fā)團隊。我相信與所有這些偉大的人討論想法、嘗試新事物和創(chuàng)造新經(jīng)驗的能力是其他公司無法復制的。如果任何人有興趣通過成為一個殺手級團隊的一部分，并與其他團隊的專業(yè)人才相互交流來創(chuàng)造新的東西，請到索尼來看看我們。