【微分享】索尼黑科技——眼感應(yīng)光場(chǎng)顯示技術(shù) 還原創(chuàng)作者真實(shí)意圖，為用戶呈現(xiàn)3D影像

   “建立在堅(jiān)實(shí)技術(shù)基礎(chǔ)上的創(chuàng)意娛樂(lè)公司”索尼，始終以“人”為本，在前沿技術(shù)領(lǐng)域不斷探索進(jìn)取。后疫情時(shí)代，索尼黑科技正式確立了3R戰(zhàn)略（真實(shí)（Reality）、實(shí)時(shí)（Real-time）和遠(yuǎn)程（Remote），致力于為內(nèi)容創(chuàng)作賦能，共同開(kāi)創(chuàng)前所未有的娛樂(lè)表達(dá)方式。 “索尼黑科技”專欄將定期為您介紹較具代表性的索尼技術(shù)創(chuàng)新成果，探索如何“用創(chuàng)意和科技的力量感動(dòng)世界”。本期將為您帶來(lái)的是——眼感應(yīng)光場(chǎng)顯示技術(shù)。

       3D顯示器在各種應(yīng)用中都有很大的潛力，比如展廳展示和娛樂(lè)場(chǎng)所。然而，傳統(tǒng)的3D顯示器存在內(nèi)容分辨率低、佩戴3D眼鏡的煩擾、3D暈動(dòng)癥等問(wèn)題。索尼開(kāi)發(fā)的眼感應(yīng)光場(chǎng)顯示器(ELFD)*是一種有可能解決這些問(wèn)題的新型3D顯示設(shè)備。通過(guò)與創(chuàng)作者共同合作，不僅開(kāi)發(fā)內(nèi)容，同時(shí)開(kāi)發(fā)制作環(huán)境，索尼希望能在廣泛的領(lǐng)域普及該顯示系統(tǒng)。

用索尼獨(dú)有的技術(shù)提供 "空間現(xiàn)實(shí)體驗(yàn)"

Q：ELFD是什么樣的顯示器？

河村萬(wàn)：ELFD是一種可以讓您看到物體3D體積空間的顯示器，就像它們就在您面前一樣。即使從不同的角度看，真實(shí)感也是一樣的。它可以讓您用肉眼體驗(yàn)高清晰度的3DCG（3D計(jì)算機(jī)繪圖）圖像，我們期待這項(xiàng)技術(shù)能廣泛應(yīng)用于3DCG創(chuàng)造者的顯示器、展廳展示、娛樂(lè)等領(lǐng)域。例如，在制作遙控器等小型產(chǎn)品的模擬圖之前，可以先用ELFD檢查體積、質(zhì)感和外觀。

索尼在CES2020上展出了一款15英寸對(duì)角線的原型機(jī)。只要內(nèi)容尺寸符合，就能夠顯示一個(gè)高清晰度的三維物體。

Q：使用了哪種技術(shù)？

橫山一樹(shù)：ELFD采用了索尼的三項(xiàng)技術(shù)。高速、高精度、實(shí)時(shí)傳感技術(shù)；實(shí)時(shí)光場(chǎng)渲染技術(shù)；高精度3D顯示技術(shù)。

第一，高速、高精度、實(shí)時(shí)傳感技術(shù)。為了讓觀看者感覺(jué)到物體是真實(shí)存在的，需要根據(jù)用戶眼睛的位置，持續(xù)顯示正確的圖像和視角。ELFD采用索尼獨(dú)有的高速視覺(jué)傳感器和人臉識(shí)別算法，以較小的延遲實(shí)現(xiàn)精確的眼部檢測(cè)。不僅可以實(shí)時(shí)計(jì)算出雙眼的位置，計(jì)算出水平面和垂直面，還可以計(jì)算出深度。

       其次，實(shí)時(shí)光場(chǎng)渲染技術(shù)。根據(jù)用戶的位置，ELFD會(huì)計(jì)算出物體如果放在顯示屏內(nèi)，通過(guò)用戶眼睛看到的樣子，并將這些信息轉(zhuǎn)化為顯示屏表面的、可以亂真的畫面。結(jié)合微光透鏡技術(shù)，不斷為雙眼提供圖像，從顯示面板上發(fā)出光源圖像。由于這種圖像是高速、高精度地實(shí)時(shí)生成的，所以正確的視點(diǎn)總是能到達(dá)觀看者的雙眼，使他們感覺(jué)到物體仿佛真的存在。

栗原貴之：較后是高精度的3D顯示技術(shù)。雖然目前市面上已經(jīng)有一些不需要眼鏡的3D顯示器，但由于分辨率低，雙眼之間存在串?dāng)_，無(wú)法準(zhǔn)確呈現(xiàn)3D圖像。ELFD顯示器充分利用了索尼的高速視覺(jué)傳感器，并采用獨(dú)特的微光學(xué)鏡片，利用眼球追蹤，與傳統(tǒng)3D顯示器相比，大大降低了串?dāng)_。

Q：請(qǐng)介紹一下索尼在ELFD之前的3D顯示器開(kāi)發(fā)情況。

橫山一樹(shù)：大約十年前，有一段時(shí)間3D風(fēng)靡一時(shí)。當(dāng)時(shí)，索尼正在開(kāi)發(fā)一種配有3D眼鏡的3D電視。然而，雖然3D電視較初吸引了很多人的興趣，但由于有些人覺(jué)得立體看不清，甚至有人在看電視時(shí)覺(jué)得不舒服，所以并沒(méi)能在市場(chǎng)上站穩(wěn)腳跟。幾年后，我們開(kāi)始考慮采用雙目視差調(diào)整的新型3D顯示器。當(dāng)時(shí)，栗原先生的團(tuán)隊(duì)正在開(kāi)發(fā)一種極高精度的醫(yī)療用裸眼3D顯示器，當(dāng)我看到它時(shí)，我就覺(jué)得它很有潛力。通過(guò)應(yīng)用這種顯示技術(shù)，研究顯示面板的較佳位置和當(dāng)前的視點(diǎn)圖像，我們開(kāi)發(fā)出了ELFD的原型。我們?cè)诠緝?nèi)部的技術(shù)展和CES上都廣泛介紹了這項(xiàng)技術(shù)，與之前的3D電視不同，大多數(shù)人都體驗(yàn)到了這項(xiàng)技術(shù)的好處。讓觀眾能夠感知物體深度的因素有：呈現(xiàn)一個(gè)恒定的、無(wú)畸變的雙目視差，安裝側(cè)墻讓空間成了一個(gè)盒子，它所提供實(shí)際的對(duì)比提示能促進(jìn)視覺(jué)融合，以及呈現(xiàn)一個(gè)低延遲的運(yùn)動(dòng)視差。

忠實(shí)還原 "創(chuàng)作者意圖"

Q：在開(kāi)發(fā)過(guò)程中，什么對(duì)你來(lái)說(shuō)是重要的？

木村隆臣：開(kāi)發(fā)ELFD的主要理念是促進(jìn)和幫助 "創(chuàng)作者意圖 "的實(shí)現(xiàn)。這項(xiàng)技術(shù)不僅在技術(shù)層面給人留下深刻印象，同時(shí)也是創(chuàng)作者表達(dá)自己想法的載體。因此，在開(kāi)發(fā)過(guò)程中，我們非常重視與創(chuàng)作者的對(duì)話。我們希望讓創(chuàng)作者能夠使用他們熟悉的工具來(lái)制作ELFD內(nèi)容，因此我們創(chuàng)建了一個(gè)軟件開(kāi)發(fā)工具包（SDK），支持Unity和虛幻引擎這兩個(gè)在3D內(nèi)容制作領(lǐng)域應(yīng)用較廣泛的平臺(tái)。在開(kāi)發(fā)過(guò)程的早期，我們就開(kāi)始向公司內(nèi)外的創(chuàng)作者分發(fā)α和β版本的SDK，以便我們能夠獲得反饋并進(jìn)行改進(jìn)。這讓我們了解了他們?cè)诰群托阅芊矫娴囊?，也讓我們有機(jī)會(huì)共同創(chuàng)造更好的產(chǎn)品。

Q：體驗(yàn)過(guò)ELFD的人有什么反饋？

山村タイザ：在2020年的CES上，我們受到了很大的關(guān)注，人們排隊(duì)等候體驗(yàn)ELFD。我們收到了很多積極的反饋，以及我們沒(méi)有想到的優(yōu)秀建議。而在北美較大的專業(yè)視聽(tīng)貿(mào)易展InfoComm 2020上，我們獲得了AV技術(shù)較佳展品特別獎(jiǎng)。與內(nèi)部和外部合作伙伴的合作有助于擴(kuò)大我們產(chǎn)品的應(yīng)用。這就是把新技術(shù)帶給世界，并看到人們以各種功能方式使用它來(lái)改善生活的好處。

與創(chuàng)作者一起探索3D內(nèi)容的新可能

Q：ELFD在產(chǎn)品設(shè)計(jì)和研發(fā)方面的應(yīng)用前景如何？

木村隆臣：為了較大限度地發(fā)揮ELFD作為硬件的潛力，我們需要表現(xiàn)這種潛力的內(nèi)容。為此，我們需要改善創(chuàng)作者的內(nèi)容制作流程。首先，我們需要為內(nèi)容制作開(kāi)發(fā)較佳的軟件和工具，如SDK，然后提供ELFD顯示器用于檢查內(nèi)容。通過(guò)這樣做，我們可以確保創(chuàng)建、觀看和分發(fā)內(nèi)容的較基礎(chǔ)的生態(tài)系統(tǒng)。

橫山一樹(shù)：目前，ELFD的工作原理是只能將顯示內(nèi)容限制在一個(gè)小的矩形平行區(qū)域內(nèi)，并將觀看人數(shù)限制為一個(gè)人。因此，如果內(nèi)容從屏幕上突出，或者多人同時(shí)觀看內(nèi)容，就無(wú)法看到準(zhǔn)確的三維圖像。我們正在努力解決這些問(wèn)題。做大系統(tǒng)的困難之一是，隨著圖像景深的增加，可視性會(huì)降低。在這里，我們的目標(biāo)是在做大系統(tǒng)的同時(shí)，保持新鮮感和清晰度。在觀看人數(shù)方面，我們的第一個(gè)目標(biāo)是在兩個(gè)人觀看的情況下實(shí)現(xiàn)同樣的觀看體驗(yàn)。有很多實(shí)用例子都是兩個(gè)人一起觀看同一個(gè)內(nèi)容，所以實(shí)現(xiàn)這個(gè)目標(biāo)就可以實(shí)現(xiàn)更廣泛的應(yīng)用。此外，我們還在努力改進(jìn)實(shí)時(shí)傳感，支持更高幀率的顯示器，以及更快的渲染速度，以確保即使觀看者快速移動(dòng)，成像也能保持在原位。

Q：未來(lái)想實(shí)現(xiàn)什么目標(biāo)？

木村隆臣：XR(AR/VR)在娛樂(lè)應(yīng)用和許多B2B領(lǐng)域，甚至在 "疫情及后疫情"時(shí)代，都有著巨大的增長(zhǎng)潛力。我們相信創(chuàng)作者將在提出新的應(yīng)用場(chǎng)景方面發(fā)揮關(guān)鍵作用，因此我們將繼續(xù)開(kāi)發(fā)能夠讓創(chuàng)作者忠實(shí)地再現(xiàn)和展示其創(chuàng)意的技術(shù)。

橫山一樹(shù)：我一直夢(mèng)想著創(chuàng)造一種逼真到足以讓人誤以為是真實(shí)的視覺(jué)體驗(yàn)。我們希望各個(gè)領(lǐng)域的創(chuàng)作者都能制作出高質(zhì)量的內(nèi)容，這樣我們就能把這項(xiàng)技術(shù)傳播出去，讓它成為人們?nèi)粘Ｉ钪杏篮愕囊徊糠帧?/p>

木村隆臣：未來(lái)，我們希望將其應(yīng)用于教育領(lǐng)域和VR顯示設(shè)備，并將其擴(kuò)展到B2B解決方案和內(nèi)容分發(fā)等領(lǐng)域。由于這是一個(gè)具有廣泛潛在商業(yè)可能性的新領(lǐng)域，我們希望讓整個(gè)索尼集團(tuán)參與到ELFD的世界中來(lái)。