【微分享】索尼黑科技——鷹眼創(chuàng)新的可視化技術(shù)如何顛覆體育賽事的欣賞方式

“建立在堅實技術(shù)基礎(chǔ)上的創(chuàng)意娛樂公司”索尼，始終以人為本，在前沿技術(shù)領(lǐng)域不斷探索進取。后疫情時代，索尼黑科技正式確立了3R戰(zhàn)略（真實（Reality）、實時（Real-time）和遠程（Remote），致力于為內(nèi)容創(chuàng)作賦能，共同開創(chuàng)前所未有的娛樂表達方式。 “索尼黑科技”專欄將定期為您介紹較具代表性的索尼技術(shù)創(chuàng)新成果，探索如何“用創(chuàng)意和科技的力量感動世界”。本期將為您帶來的是——索尼旗下鷹眼創(chuàng)新公司的可視化技術(shù)。

在專業(yè)體育競技中，總有一些因為動作速度過快或過于復(fù)雜而無法用肉眼追蹤的時刻。本期的#索尼黑科技#專欄將通過獨家采訪全面起底索尼旗下的鷹眼創(chuàng)新公司（Hawk-Eye Innovations Ltd. 下稱：鷹眼創(chuàng)新），看它的可視化技術(shù)如何幫助裁判員做出判斷，并令體育競技更加安全、公平、可靠和精彩。

受訪人資料：

讓裁判員們無法判斷的時刻清晰顯現(xiàn)

Q：首先，請您介紹一下鷹眼創(chuàng)新的技術(shù)及其應(yīng)用的領(lǐng)域。

Edward Hawke：鷹眼創(chuàng)新提供的兩項主要技術(shù)是球體跟蹤和同步多角度回放技術(shù)（SMART）支持的視頻回放。球類追蹤技術(shù)已被整合到各種服務(wù)中，如電子司線技術(shù)（ELC）以及球門線技術(shù)（GLT），SMART視頻回放已被足球視頻助理裁判（VARs）和橄欖球電視比賽官員（TMOs）采用。

Q：鷹眼創(chuàng)新服務(wù)發(fā)展的背后有什么故事嗎？

山本太郎：鷹眼創(chuàng)新公司成立于2001年，由鷹眼公司的創(chuàng)始人保羅-霍金斯制定了基于導(dǎo)彈跟蹤技術(shù)的球類追蹤理念。較初開發(fā)這項技術(shù)是為了讓觀眾更愉快的觀看板球運動，但很快就擴展到其他各種球類運動中，如網(wǎng)球、足球、羽毛球和排球。我們開展業(yè)務(wù)的愿景仍然是讓觀眾更好地欣賞體育賽事。2006年，在國際網(wǎng)球比賽中引入新的挑戰(zhàn)規(guī)則后，鷹眼創(chuàng)新才真正進入了全球視野。這一規(guī)則允許每個球員在一場比賽中較多質(zhì)疑三次裁判員的判斷。如果因為質(zhì)疑被叫停，球的軌跡和落點將通過安裝在球場周圍的多臺攝像機拍攝的視頻資料進行分析，并在短短幾秒鐘內(nèi)通過計算機圖形（CG）在會場的屏幕上進行回放。這項技術(shù)可以準(zhǔn)確地分析網(wǎng)球中高速球的軌跡，這當(dāng)然會使比賽更加公平，但也可能會嚴(yán)重影響比賽進行。

Mathew Richards：球類追蹤技術(shù)有兩個主要組成部分——光學(xué) 2D 視覺處理（尋找球的中心）和 3D 三角測量（模擬球的飛行時間）。 通常，這會使用 8 到 12 臺以高達每秒 340 幀的幀速率運行的攝像機。 捕獲的數(shù)據(jù)被輸入中央控制系統(tǒng)，該系統(tǒng)可以提供各種實時服務(wù)，包括裁判解決方案、直播效果支持和數(shù)據(jù)流。

Q：SMART技術(shù)的使用是如何推廣的？

Mathew Richards：為了使視頻平臺能夠同時渲染和提供多個不同的視頻流，我們開發(fā)了一種技術(shù)，可以以高達每秒 340 幀的速度實時編碼視頻，同時將畫質(zhì)退化率降到較低，并編碼多種分辨率，使輸出設(shè)備可以基于每幀選擇較佳視頻大小。因此，裁判員、醫(yī)務(wù)人員和廣播公司可以同時從任何角度獲取他們想要的視頻片段，這就是SMART Replay。

帶來巨大的創(chuàng)新是鷹眼創(chuàng)新的優(yōu)勢

Q：有哪些因素促成了鷹眼創(chuàng)新在體育界的廣泛應(yīng)用與成功發(fā)展？

Mathew Richards：鷹眼創(chuàng)新在提供球體和球員追蹤服務(wù)方面擁有20多年的經(jīng)驗，我們的主要優(yōu)勢之一是我們能夠不斷創(chuàng)新和完善我們的方法。球類追蹤在2001年首次被用作板球的廣播效果支持，現(xiàn)在我們已經(jīng)為球體和球員的追蹤開發(fā)了較先進的機器學(xué)習(xí)算法。我們目前正在擴大其使用范圍，不僅追蹤人，而且還能追蹤球棒（拍）和汽車等物體。

Edward Hawke：鷹眼創(chuàng)新也非常重視與使用者之間的溝通交流。我們密切參與了足球視頻助理裁判的初始階段，利用我們在裁判技術(shù)方面的專業(yè)知識來幫助利益相關(guān)者，建立對比賽結(jié)果產(chǎn)生較大影響并對比賽過程破壞較小的規(guī)則與程序。目的是確保更公平的結(jié)果，同時保持球迷的高度參與和享受。

山本太郎：索尼的廣播技術(shù)被廣泛應(yīng)用于各種體育賽事，由于鷹眼創(chuàng)新的一些員工總是出現(xiàn)在這些體育場館，我們在提供支持的同時能夠獲得反饋，使鷹眼創(chuàng)新能夠為每項運動開發(fā)與提供更好的解決方案。鷹眼創(chuàng)新的另一個優(yōu)勢是我們始終在一線，一年365天傾聽意見，我們相信我們所積累的專業(yè)知識是能夠引領(lǐng)這個行業(yè)的原因之一。

在裁判以外的領(lǐng)域為體育運動提供支持

Q：我了解到你們目前正在開設(shè)新的服務(wù)？

山本太郎：是的。 為了取消場內(nèi)的司線裁判,鷹眼創(chuàng)新的實時司線系統(tǒng) (Hawk-Eye Live)現(xiàn)已在多個國際網(wǎng)球賽事中使用。 這有效避免了對裁判員的質(zhì)疑過程，縮短和提高了比賽效率，讓球員的注意力高度集中在比賽本身。鷹眼創(chuàng)新的解決方案不會取代裁判長或裁判員，它只是一項旨在支持他們的服務(wù)，但我們相信它可以代替司線裁判員做出決定，以降低新冠疫情的傳播。 網(wǎng)球比賽中較多可部署 9 名司線裁判員，但通過鷹眼創(chuàng)新的司線技術(shù)可以減少球場上的人以確保社交距離。在2020年美國網(wǎng)球公開賽中，13個球場中有11個使用了Hawk-Eye Live。

Edward Hawke：隨著新冠疫情的爆發(fā)，鷹眼創(chuàng)新已經(jīng)開始為新的體育內(nèi)容制作流程以提供遠程回放服務(wù)，允許回放操作員在家里使用該系統(tǒng)進行現(xiàn)場直播剪輯。我們?yōu)楦郀柗虮荣愰_發(fā)了一個系統(tǒng)，將官方數(shù)據(jù)鏈接到視頻源，并自動標(biāo)記哪個高爾夫球手在哪個球洞，使操作員能夠快速跳轉(zhuǎn)到他們想要回放的視頻資料。 這個系統(tǒng)，加上運營商現(xiàn)在可以在家中通過 10Mbps 消費級互聯(lián)網(wǎng)連接提供廣播重播的事實，極大地改變了行業(yè)的工作流程。

Q：較后，你能告訴我們你的未來前景嗎？

山本太郎：鷹眼創(chuàng)新的服務(wù)目前被用于20多種運動，除了球類運動，它們還被用于田徑、賽馬，甚至是賽車運動。球類追蹤技術(shù)已經(jīng)開始應(yīng)用于球隊的戰(zhàn)略分析和選才，在電視和視頻中提供比賽的多角度觀看體驗也在考慮之中，顯然，鷹眼創(chuàng)新具有未來發(fā)展?jié)摿?。體育總能帶給人們無限感動，而通過技術(shù)感動人正是我們的使命。利用索尼的技術(shù)能力，我們將繼續(xù)提供觀看和享受體育的新方式，激發(fā)人們的熱情和感動。

鷹眼創(chuàng)新公司簡介

自 2001 年以來，鷹眼創(chuàng)新公司一直處于體育裁判和廣播支持技術(shù)的前沿。鷹眼創(chuàng)新的視覺處理、視頻回放和創(chuàng)意圖形技術(shù)使體育運動更加公平、安全、智能化，同時更具吸引力。該公司是索尼體育創(chuàng)新集團的重要組成部分，其共同使命是為體育界提供一流的裁判、廣播和數(shù)字解決方案。

鷹眼創(chuàng)新公司的技術(shù)被應(yīng)用在哪些體育領(lǐng)域？

網(wǎng)球領(lǐng)域 電子司線技術(shù) (ELC)

即使頂級網(wǎng)球選手的發(fā)球速度超過 200 公里/小時，鷹眼創(chuàng)新的追蹤功能也可以準(zhǔn)確判斷球是否越線。 該系統(tǒng)不僅具有令人難以置信的誤差小于 2 毫米的精準(zhǔn)度，還可以通過處理追蹤數(shù)據(jù)在短短的幾秒鐘內(nèi)制作出 CG 回放。 球員對裁判員的質(zhì)疑會極大影響比賽的進行，但是通過CG 回放讓每個人都能看到虛擬回放，包括在家里觀看的人，使比賽變得更加公平。 此外，圖形回放片段可以作為數(shù)字廣告素材出售給贊助商，為賽事組織者創(chuàng)造更多商機。

足球 球門線技術(shù) (GLT)

從裁判和追蹤的角度來看，足球是一項需要克服多重挑戰(zhàn)的運動。例如，裁判需要實時判斷球是否越過球門線，以及實時以更高的幀率和分辨率進行視頻處理。與此前的球體追蹤技術(shù)相比，該技術(shù)實現(xiàn)較大的突破是追蹤球體運動，球體追蹤中較困難的挑戰(zhàn)之一是被遮擋，如此將很難模擬球體飛行（因為守門員可能將球帶過線）。再加上嘈雜場景的問題，球可能會被球員遮擋，使得裁判員對門球的追蹤變得極其困難。為了解決所有這些問題，鷹眼創(chuàng)新的工程團隊與索尼合作，創(chuàng)新了獨特的球體模式識別和方向建模算法，在只有部分球體可見時也能確定球在圖像中的位置。

足球 視頻助理裁判(VAR)

鷹眼創(chuàng)新獨特的解決問題能力也深深扎根于VAR技術(shù)中，這使鷹眼創(chuàng)新在國際足球賽事中提供了較前沿的技術(shù)。將VAR作為一個概念引入足球賽事的較初契機是提高溝通效率。在比賽中，裁判和視頻助理裁判必須不斷地使用對講機相互溝通，共同決定何時是停止比賽的較佳時機。鷹眼創(chuàng)新解決了這一低效率問題，不僅建立了具有多個攝像機的系統(tǒng)，以確保判斷的適當(dāng)角度，而且還為使用該系統(tǒng)的裁判提供培訓(xùn)，此外還支持裁判培訓(xùn)系統(tǒng)的資格和認證。

橄欖球 電視比賽官員(TMO)
 

鷹眼創(chuàng)新還為橄欖球TMO提供視頻判斷的輔助工具，在橄欖球比賽中，進攻性的阻擋和激烈的沖撞并不罕見。根據(jù)比賽情況，來自30多臺攝像機的畫面可能會被匯總，輸入服務(wù)器，進行同步，然后顯示在操作屏幕上。裁判員想要詳細檢查和判斷可以拖放畫面提取靜止圖像，并且可以流暢地進行縮放和慢動作等操作。裁判員們可以檢查是否有阻擋犯規(guī)，或是否有達陣得分的情況。橄欖球比賽中的醫(yī)務(wù)人員可以使用平板電腦來檢查球員受傷的位置和方式，這有助于實現(xiàn)更精準(zhǔn)的治療。在提高比賽安全性的同時，更好的治療也能讓球員更快恢復(fù)，為球隊帶來巨大的戰(zhàn)略和經(jīng)濟利益。

棒球 視頻判決支持系統(tǒng)

在美國職業(yè)棒球大聯(lián)盟 (MLB) 中，有一個挑戰(zhàn)系統(tǒng)，允許球隊經(jīng)理質(zhì)疑裁判員判斷的準(zhǔn)確性。 通過鷹眼創(chuàng)新的 SMART 技術(shù)查看視頻回放，經(jīng)理可以決定是否質(zhì)疑裁判。 鷹眼創(chuàng)新的追蹤系統(tǒng)已經(jīng)引入 30 個美國職業(yè)棒球大聯(lián)盟球場。

棒球 比賽分析服務(wù)

在2020年賽季，美國職業(yè)棒球大聯(lián)盟也采用了鷹眼創(chuàng)新的運動追蹤平臺進行比賽分析。鷹眼創(chuàng)新的視覺處理技術(shù)和光學(xué)追蹤系統(tǒng)被用來捕捉整個體育場內(nèi)的球體和球員的運動，并以毫米級的精確度對數(shù)據(jù)進行分析。通過對12臺高分辨率、高幀率的攝像機所拍攝的圖像進行同步和分析，可以跟蹤球員的三維軀干模型。這使得實時分析球員的姿勢和動作成為可能，從而對每場比賽進行更精確的評估，包括投手/擊球手的發(fā)力，球和球棒的跟蹤，以及外野手和跑手的動作。根據(jù)多年的合同，該服務(wù)可在所有30個美國職業(yè)棒球大聯(lián)盟球場和多個訓(xùn)練設(shè)施中使用。這些數(shù)據(jù)也將反映在美國職業(yè)棒球大聯(lián)盟的Statcast系統(tǒng)中，因此它也被使用于比賽轉(zhuǎn)播，并允許球迷在美國職業(yè)棒球大聯(lián)盟官方網(wǎng)站上查看實際數(shù)據(jù)。