【微分享】索尼黑科技——體積空間捕捉技術(shù)賦能電影制作

建立在堅(jiān)實(shí)技術(shù)基礎(chǔ)上的創(chuàng)意娛樂公司”索尼，始終以“人”為本，在前沿技術(shù)領(lǐng)域不斷探索進(jìn)取。后疫情時(shí)代，索尼黑科技正式確立了3R戰(zhàn)略（真實(shí)（Reality）、實(shí)時(shí)（Real-time）和遠(yuǎn)程（Remote），致力于為內(nèi)容創(chuàng)作賦能，共同開創(chuàng)前所未有的娛樂表達(dá)方式。 “索尼黑科技”專欄將定期為您介紹較具代表性的索尼技術(shù)創(chuàng)新成果，探索如何“用創(chuàng)意和科技的力量感動(dòng)世界”。本期將為您帶來的是索尼正在研發(fā)的一種虛擬制作技術(shù)——體積空間捕捉技術(shù)（Volumetric Capture）。

使用空間現(xiàn)實(shí)技術(shù)進(jìn)行電影制作

       體積空間捕捉技術(shù)指的是通過多臺(tái)攝像機(jī)拍攝創(chuàng)建3D CG影像（計(jì)算機(jī)動(dòng)畫），并利用這些數(shù)據(jù)制作出看起來像是在真實(shí)地點(diǎn)拍攝的視頻。目前，索尼公司的研發(fā)中心、索尼影視娛樂公司和專門從事虛擬制作的索尼創(chuàng)新工作室正在合作制作可用于電影制作的高質(zhì)量視頻。

受訪人資料：

相互改進(jìn)技術(shù)，追求全新的視覺表達(dá)

Q：索尼公司的研發(fā)中心、索尼影視娛樂公司和索尼創(chuàng)新工作室是如何合作的？

田中：索尼創(chuàng)新工作室于2018年在美國(guó)卡爾弗城的索尼影視娛樂公司所在地成立，是一家利用包括體積空間捕捉技術(shù)在內(nèi)的各種技術(shù)從事虛擬制作的特別工作室。在索尼創(chuàng)新工作室成立之前，索尼影視娛樂的視覺制作團(tuán)隊(duì)就對(duì)索尼研發(fā)中心的體積捕捉技術(shù)表示出了興趣。在2018年6月索尼創(chuàng)新工作室的啟動(dòng)儀式上，我們透露了與索尼影視娛樂共同研發(fā)的實(shí)時(shí)空間捕捉系統(tǒng)。

Q：在啟動(dòng)儀式上，您展示了什么？

田中：我們將事先錄制好的主持人的3D影像與現(xiàn)場(chǎng)主持人的影像混合在一起，進(jìn)行實(shí)時(shí)的演示，讓人覺得有兩個(gè)人在一起。逼真的圖像質(zhì)量讓嘉賓們大吃一驚。
 

Q：從那以后，索尼公司和索尼創(chuàng)新工作室似乎一直在合作？

田中：索尼創(chuàng)新工作室開幕式之后，我們研發(fā)中心提出了將體積空間捕捉技術(shù)引入日本音樂產(chǎn)業(yè)的想法，而索尼創(chuàng)新工作室則追求更高的影像質(zhì)量，我們也一直以這項(xiàng)技術(shù)的新高度為目標(biāo)。較近，我們開始嘗試將使用體積空間捕捉技術(shù)拍攝的角色放置在由索尼創(chuàng)新工作室以獨(dú)特技術(shù)創(chuàng)造的虛擬空間中。他們所創(chuàng)造的空間具有很高的圖像質(zhì)量，不知道的人都會(huì)覺得好像是在真實(shí)的地點(diǎn)拍攝的一樣，所以我們拍攝視頻的圖像質(zhì)量無法達(dá)到他們的要求也是意料之中。為了實(shí)現(xiàn)更好的畫質(zhì)，我們決定讓我們較優(yōu)秀的工程師到索尼創(chuàng)新工作室現(xiàn)場(chǎng)體驗(yàn)實(shí)際制作，以期與創(chuàng)作者一起進(jìn)行技術(shù)合作。
 

更真實(shí)、更簡(jiǎn)單。以能夠?qū)嶋H應(yīng)用于電影制作為目標(biāo)

Q：在這次合作中，索尼公司帶來了什么樣的優(yōu)勢(shì)？

加治：體積空間捕捉技術(shù)的主要優(yōu)勢(shì)是利用3D電腦視覺的渲染技術(shù)，即使在沒有安裝攝像機(jī)的視點(diǎn)也能創(chuàng)建視頻。如果你試圖從實(shí)景視頻中創(chuàng)建3D數(shù)據(jù)，無論工藝多么精細(xì)，形狀都會(huì)與現(xiàn)實(shí)有差異。在此基礎(chǔ)上添加色彩，只會(huì)讓它看起來更不自然，更像CG。因此，我們引入了索尼獨(dú)特的影像逼真渲染技術(shù)，可以充分利用拍攝的視頻創(chuàng)造出看起來像用傳統(tǒng)相機(jī)拍攝的自然影像。雖然目前還沒有實(shí)現(xiàn)真正意義上的相機(jī)拍攝效果，但我們將繼續(xù)開發(fā)該技術(shù)，將畫質(zhì)提高到可以應(yīng)用于電影制作的程度。
 

Q：聽說您在視頻編輯工作方面也有一些計(jì)劃，請(qǐng)問您是怎么做的？

加治：我們目前正在研究將之前拍攝的圖像自動(dòng)轉(zhuǎn)化為3D模型的技術(shù)。要制作高保真的3D模型，需要高度精確的校準(zhǔn)，目前，研發(fā)中心已經(jīng)成功實(shí)現(xiàn)了這一過程的自動(dòng)化，并同時(shí)強(qiáng)調(diào)了實(shí)時(shí)性，這可以大大減少視頻編輯所需的時(shí)間和精力。在索尼創(chuàng)新工作室的電影制作中，很多情況下作品的藝術(shù)性需要人工處理，這需要花費(fèi)大量的時(shí)間。另一方面，虛擬制作需要處理比平時(shí)更龐大的數(shù)據(jù)量，這就需要很長(zhǎng)的時(shí)間來處理和編輯，索尼的自動(dòng)化技術(shù)對(duì)提高制作效率很有幫助。
 

由索尼的渲染技術(shù)生成的3D CG模型

生成宛如現(xiàn)場(chǎng)實(shí)際拍攝的圖像

讓新的視頻體驗(yàn)更加觸手可及

Q：我們可以期待怎樣的發(fā)展和可能？

田中：虛擬制作可以遠(yuǎn)程制作看似在現(xiàn)場(chǎng)拍攝的影像。我們相信，通過應(yīng)用這項(xiàng)技術(shù)，我們將能夠創(chuàng)造出一種即使相隔很遠(yuǎn)，也能讓人有身臨其境的體驗(yàn)。我們的較終目標(biāo)是讓科技變得更加生活化，并將這種體驗(yàn)直接傳遞給客戶。特別是在新冠病毒大流行的情況下，我們認(rèn)為虛擬制作的重要性正在穩(wěn)步提升。我們希望通過繼續(xù)全力投入研發(fā)這項(xiàng)技術(shù)，與索尼創(chuàng)新工作室一起建立新的視頻制作環(huán)境，為電影產(chǎn)業(yè)做出貢獻(xiàn)。
 

加治：我們相信，索尼創(chuàng)新工作室為追求較高畫質(zhì)的體積空間捕捉技術(shù)提供了較佳環(huán)境。我們將繼續(xù)努力實(shí)現(xiàn)更好的圖像質(zhì)量，同時(shí)加強(qiáng)與各領(lǐng)域合作伙伴的合作，我們相信這些活動(dòng)將帶來新的體驗(yàn)。