【微分享】索尼黑科技——利用5G優(yōu)勢(shì)打造視頻直播制作新方式

“建立在堅(jiān)實(shí)技術(shù)基礎(chǔ)上的創(chuàng)意娛樂(lè)公司”索尼，始終以“人”為本，在前沿技術(shù)領(lǐng)域不斷探索進(jìn)取。后疫情時(shí)代，索尼黑科技正式確立了3R戰(zhàn)略（真實(shí)（Reality）、實(shí)時(shí)（Real-time）和遠(yuǎn)程（Remote），致力于為內(nèi)容創(chuàng)作賦能，共同開(kāi)創(chuàng)前所未有的娛樂(lè)表達(dá)方式。 “索尼黑科技”專欄將定期為您介紹較具代表性的索尼技術(shù)創(chuàng)新成果，探索如何“用創(chuàng)意和科技的力量感動(dòng)世界”。本期將為您帶來(lái)的是——基于5G網(wǎng)絡(luò)的視頻直播制作解決方案。

       5G具有 "增強(qiáng)型移動(dòng)寬帶（eMBB）"、"超可靠低延遲通信（URLLC）"、"大規(guī)模機(jī)器類通信（mMTC）"等多項(xiàng)優(yōu)勢(shì)。在體育領(lǐng)域有著許多用途，其中索尼目前正在開(kāi)發(fā)的技術(shù)領(lǐng)域之一是基于5G網(wǎng)絡(luò)的實(shí)時(shí)流媒體解決方案，其中編碼視頻可以低延遲的方式發(fā)送到制作設(shè)施，或以數(shù)據(jù)流的方式傳輸?shù)皆品?wù)。隨著2019年在體育賽事上的兩次成功實(shí)驗(yàn)，該技術(shù)正加速走向?qū)嶋H應(yīng)用。

受訪人資料：

5G給體育直播帶來(lái)的可能性

Q：在體育轉(zhuǎn)播中使用5G有什么好處？

尹晟赫：在柏林馬拉松比賽等大型馬拉松賽事的轉(zhuǎn)播過(guò)程中，現(xiàn)場(chǎng)拍攝的圖像是通過(guò)連接在場(chǎng)地上空盤旋的飛機(jī)上的反射天線發(fā)送到轉(zhuǎn)播車等編輯現(xiàn)場(chǎng)，但如果改用5G發(fā)送這些圖像，就可以大大簡(jiǎn)化整個(gè)設(shè)置流程，降低成本和環(huán)境影響。

吉野茂：如果我們能夠利用5G直接將數(shù)據(jù)發(fā)送到云端，那么體育場(chǎng)館的攝像機(jī)就可以實(shí)現(xiàn)無(wú)線拍攝，從而實(shí)現(xiàn)更靈活的拍攝角度和位置。另一個(gè)優(yōu)勢(shì)是無(wú)論在何處，都可以在云服務(wù)上遠(yuǎn)程編輯和放送高質(zhì)量的視頻。

在柏林馬拉松和美式橄欖球比賽中實(shí)驗(yàn)成功

Q：你們已經(jīng)在柏林和德州進(jìn)行了兩次成功的實(shí)驗(yàn)。請(qǐng)你介紹一下2019年9月在柏林馬拉松上進(jìn)行的第一次5G實(shí)時(shí)廣播實(shí)驗(yàn)的情況。

尹晟赫：在柏林馬拉松的實(shí)驗(yàn)中，我們與移動(dòng)網(wǎng)絡(luò)運(yùn)營(yíng)商德國(guó)電信和視頻制作公司Infront Productions合作，德國(guó)電信是索尼移動(dòng)通信的重要合作伙伴之一，他們經(jīng)常訪問(wèn)日本，與我們的高層管理人員進(jìn)行溝通。作為索尼影像產(chǎn)品與解決方案的長(zhǎng)期忠實(shí)客戶，索尼與Infront Productions的關(guān)系也非常緊密。2019年3月，德國(guó)電信找到我們，詢問(wèn)是否愿意與Infront Productions一起參與柏林馬拉松的5G直播PoC（概念驗(yàn)證）。這個(gè)時(shí)機(jī)再好不過(guò)了，因?yàn)樗髂嵊跋癞a(chǎn)品與解決方案公司和索尼移動(dòng)通信公司剛剛開(kāi)始正式確定這樣的項(xiàng)目，正在尋找合適的機(jī)會(huì)進(jìn)行測(cè)試，所以我們同意了，項(xiàng)目很快就啟動(dòng)了。

Q：實(shí)驗(yàn)的具體內(nèi)容是什么？

吉野茂：第一個(gè)使用案例是廣播工作流程。將來(lái)自放置在球場(chǎng)周圍的專業(yè)攝像機(jī)的視頻流通過(guò)使用Xperia 5G設(shè)備的傳輸盒發(fā)送到視頻制作的外部廣播（OB）軌道。第二個(gè)使用案例是在社交媒體上進(jìn)行直播。由三臺(tái)Xperia 5G設(shè)備拍攝的實(shí)時(shí)流媒體視頻被發(fā)送到由索尼影像產(chǎn)品和解決方案公司開(kāi)發(fā)的云服務(wù) "虛擬制作 "進(jìn)行視頻切換，然后再在社交媒體上進(jìn)行流媒體直播。

5G實(shí)時(shí)傳輸系統(tǒng)

Q：你是如何調(diào)試5G設(shè)備的？

清水洋次郎：5G可以實(shí)現(xiàn)高速、大容量的通信，但同時(shí)也會(huì)產(chǎn)生更多的熱量，所以從開(kāi)發(fā)之初，我們就一直在研究如何改善散熱的問(wèn)題。此外，無(wú)線電電路和天線必須在不損失4G頻率的情況下擴(kuò)展到5G頻率，因此我們利用索尼移動(dòng)通信在制造小型高效設(shè)備方面的專長(zhǎng)，進(jìn)行了反復(fù)調(diào)整。

Q：對(duì)傳輸盒進(jìn)行了哪些加工？

権藤崇：傳輸盒將攝像機(jī)發(fā)送的視頻數(shù)據(jù)進(jìn)行壓縮并通過(guò)IP進(jìn)行傳輸。在直播過(guò)程中，高畫(huà)質(zhì)、低延遲、無(wú)信號(hào)丟失的高穩(wěn)定性是絕對(duì)必要的。要同時(shí)實(shí)現(xiàn)這三點(diǎn)并不容易，另外，在本次測(cè)試中，轉(zhuǎn)播過(guò)程中網(wǎng)絡(luò)有可能會(huì)發(fā)生變化。因此，我們?cè)O(shè)計(jì)了壓縮技術(shù)和IP傳輸算法，根據(jù)網(wǎng)絡(luò)情況，保證高質(zhì)量的視頻傳輸，并盡可能的降低延時(shí)，并投入了可調(diào)整網(wǎng)絡(luò)容量和損耗補(bǔ)償?shù)南到y(tǒng)。

Q：虛擬制作是一種怎樣的技術(shù)？

吉野茂：虛擬制作是基于云端的直播制作解決方案。在傳統(tǒng)的直播制作中，多機(jī)源的視頻切換，是由現(xiàn)場(chǎng)視頻設(shè)備和現(xiàn)場(chǎng)視頻操作員完成的。索尼的虛擬制作將這些視頻切換過(guò)程和音頻混合過(guò)程轉(zhuǎn)移到云端，并將視頻流傳到社交媒體。我們的客戶可以在不親臨現(xiàn)場(chǎng)的情況下，遠(yuǎn)程制作視頻直播內(nèi)容，從而降低制作成本。

Q：在進(jìn)行實(shí)驗(yàn)的過(guò)程中，有沒(méi)有遇到什么特別的困難？

清水洋次郎：在這次實(shí)驗(yàn)中，我們使用的是相對(duì)低頻的5G頻段，接近4G，也就是所謂的Sub-6，但是無(wú)線電波的直線度卻出乎意料的高。所以我們花了一些功夫確定合適的拍攝位置，以保持快速的上行速度，從而可獲得穩(wěn)定的視頻流。

尹晟赫：柏林的5G基站建設(shè)直到賽事前兩周才完成，所以我們直到較后一刻才得以進(jìn)行本地的前期測(cè)試，挑戰(zhàn)在那時(shí)就已開(kāi)始。在賽事前一天，團(tuán)隊(duì)花了大量的時(shí)間進(jìn)行測(cè)試，以尋找5G連接穩(wěn)定、并可以安裝攝像頭的完美位置，但在馬拉松比賽當(dāng)天早上，一個(gè)大氣球拱門出現(xiàn)在半程點(diǎn)，擋住了整個(gè)攝像頭的角度，所以我們不得不在較后一刻重新調(diào)整攝像頭的位置。當(dāng)位于半程點(diǎn)的5G攝像頭拍攝的鏡頭被用于電視直播的那一刻，所有的努力都值得了。員工休息室里傳來(lái)興奮的歡呼聲，也有欣慰的嘆息聲，那一刻令我久久不能忘懷。

Q：柏林馬拉松后，第二個(gè)實(shí)驗(yàn)在兩個(gè)月后的美國(guó)得克薩斯州一場(chǎng)美式橄欖球比賽中進(jìn)行，請(qǐng)介紹一下得克薩斯州的實(shí)驗(yàn)情況。

権藤崇：我們與當(dāng)?shù)匾苿?dòng)網(wǎng)絡(luò)運(yùn)營(yíng)商進(jìn)行了PoC聯(lián)合試驗(yàn)，并得到了當(dāng)?shù)貎?nèi)容提供商和球隊(duì)的支持。要在特定的場(chǎng)地安裝并實(shí)施5G等新技術(shù)，需要與場(chǎng)地所有者、當(dāng)?shù)卣?、?dāng)?shù)乩嫦嚓P(guān)者、立法機(jī)構(gòu)等進(jìn)行多次商榷，因此，要制定出符合索尼公司初衷的計(jì)劃，無(wú)疑是一個(gè)挑戰(zhàn)。較終，我們通過(guò)與內(nèi)部和外部利益相關(guān)者的溝通，充分考慮限制和條件，及時(shí)調(diào)整和管理規(guī)劃的重要時(shí)間節(jié)點(diǎn)，才得以繼續(xù)進(jìn)行。雖然也有不盡如人意的時(shí)候，但通過(guò)我們以上的不懈努力，以及與設(shè)計(jì)和開(kāi)發(fā)團(tuán)隊(duì)的溝通，終于得以按照計(jì)劃穩(wěn)步推進(jìn)。

Q：實(shí)驗(yàn)的具體內(nèi)容是什么？

佐藤弘基：我們?cè)谶@里也做了兩個(gè)主要的測(cè)試，第一個(gè)是在攝像師的工作臺(tái)上進(jìn)行傳輸。在整個(gè)比賽過(guò)程中，我們用5G網(wǎng)絡(luò)來(lái)替代有線傳輸。第二個(gè)是在現(xiàn)場(chǎng)進(jìn)行傳輸。利用無(wú)線傳輸?shù)膬?yōu)勢(shì)，我們?cè)诂F(xiàn)場(chǎng)和很多媒體人員做了一個(gè)小范圍的繞場(chǎng)轉(zhuǎn)播。

使用支持5G的攝像機(jī)進(jìn)行拍攝，并以無(wú)線方式傳輸畫(huà)面

Q：除了在柏林的實(shí)驗(yàn)，你還經(jīng)歷了哪些創(chuàng)新和困難？

清水洋次郎：已經(jīng)在美國(guó)實(shí)現(xiàn)商用的5G mmWave技術(shù)，使用的頻段比Sub-6高得多，有望提供更高的容量和速度，實(shí)現(xiàn)高清視頻傳輸。不過(guò)，它也面臨著一些技術(shù)上的挑戰(zhàn)，比如電波容易被建筑物甚至人體阻擋，不能很好地在遠(yuǎn)距離內(nèi)傳播。索尼移動(dòng)通信開(kāi)發(fā)了更小的天線模塊，并對(duì)其安置方位進(jìn)行了優(yōu)化，使其可以從任何角度接收mmWave信號(hào)。在監(jiān)控接收信號(hào)質(zhì)量的同時(shí)，通過(guò)有效切換天線模塊，能夠幫助降低傳輸損耗和抑制發(fā)熱。我們還改變了設(shè)備的材料，以確保把對(duì)mmWave傳輸特性的負(fù)面影響降低。

佐藤弘基：在傳輸方面，我們花了許多時(shí)間針對(duì)mmWaves進(jìn)行了調(diào)整。攝像機(jī)操作人員和其他在附近移動(dòng)的人對(duì)無(wú)線電波條件的影響很大，很有可能出現(xiàn)傳輸速度突然下降的情況，所以為了提高穩(wěn)定性，索尼影像產(chǎn)品與解決方案公司和索尼移動(dòng)通信公司的工程師們一起合作，尋找更好的無(wú)線電環(huán)境。他們還改進(jìn)了視頻壓縮和傳輸技術(shù)，在保持圖像質(zhì)量和提供穩(wěn)定的傳輸方面費(fèi)了不少功夫。

Q：聽(tīng)說(shuō)在活動(dòng)前的實(shí)驗(yàn)前檢查時(shí)有一些限制？

権藤崇：索尼團(tuán)隊(duì)為了攝像機(jī)的安裝位置和一些配置需要在PoC game之前評(píng)估5G無(wú)線電節(jié)點(diǎn)的物理位置以及相關(guān)性能。我們的假設(shè)是在場(chǎng)地內(nèi)至少執(zhí)行四次這些活動(dòng)，但我們必須做出一系列的調(diào)整才能做到這一點(diǎn)。針對(duì)進(jìn)入場(chǎng)地的嚴(yán)格限制，并被要求在不影響現(xiàn)場(chǎng)觀眾體驗(yàn)的情況下進(jìn)行試運(yùn)行以了解PoC的運(yùn)作等情況，我們進(jìn)行了及時(shí)的討論/協(xié)商計(jì)劃，在比賽前3天進(jìn)行了準(zhǔn)備工作。

休斯頓NRG體育場(chǎng)設(shè)置的攝像系統(tǒng)

將5G的價(jià)值傳遞給更多人

清水洋次郎：5G帶來(lái)了巨大的可能。我們希望通過(guò)運(yùn)用我們的經(jīng)驗(yàn)，將5G通信技術(shù)與索尼的各種內(nèi)容和服務(wù)相結(jié)合，追求 "3R技術(shù)"—真實(shí)、實(shí)時(shí)、遠(yuǎn)程的目標(biāo)，為索尼的新kando（感動(dòng)）體驗(yàn)和新業(yè)務(wù)的開(kāi)發(fā)做出貢獻(xiàn)。

佐藤弘基：在這里得到了很多人的支持，我自己也從中學(xué)到了很多東西。在沒(méi)有任何領(lǐng)域和用途障礙的情況下，我將盡我所能進(jìn)一步提高技術(shù)，通過(guò)5G創(chuàng)造新的價(jià)值。