“建立在堅實(shí)技術(shù)基礎(chǔ)上的創(chuàng)意娛樂公司”索尼，始終以人為本，在前沿技術(shù)領(lǐng)域不斷探索進(jìn)取。后疫情時代，索尼黑科技正式確立了3R戰(zhàn)略（真實(shí)（Reality）、實(shí)時（Real-time）和遠(yuǎn)程（Remote），致力于為內(nèi)容創(chuàng)作賦能，共同開創(chuàng)前所未有的娛樂表達(dá)方式。 “索尼黑科技”專欄將定期為您介紹較具代表性的索尼技術(shù)創(chuàng)新成果，探索如何“用創(chuàng)意和科技的力量感動世界”。本期將為您帶來的是——索尼旗下鷹眼創(chuàng)新公司的可視化技術(shù)。

在專業(yè)體育競技中，總有一些因為動作速度過快或過于復(fù)雜而無法用肉眼追蹤的時刻。本期的#索尼黑科技#專欄將通過獨(dú)家采訪全面起底索尼旗下的鷹眼創(chuàng)新公司（Hawk-Eye Innovations Ltd. 下稱：鷹眼創(chuàng)新），看它的可視化技術(shù)如何幫助裁判員做出判斷，并令體育競技更加安全、公平、可靠和精彩。

受訪人資料：

讓裁判員們無法判斷的時刻清晰顯現(xiàn)

Q：首先，請您介紹一下鷹眼創(chuàng)新的技術(shù)及其應(yīng)用的領(lǐng)域。

Edward Hawke：鷹眼創(chuàng)新提供的兩項主要技術(shù)是球體跟蹤和同步多角度回放技術(shù)（SMART）支持的視頻回放。球類追蹤技術(shù)已被整合到各種服務(wù)中，如電子司線技術(shù)（ELC）以及球門線技術(shù)（GLT），SMART視頻回放已被足球視頻助理裁判（VARs）和橄欖球電視比賽官員（TMOs）采用。

Q：鷹眼創(chuàng)新服務(wù)發(fā)展的背后有什么故事嗎？

山本太郎：鷹眼創(chuàng)新公司成立于2001年，由鷹眼公司的創(chuàng)始人保羅-霍金斯制定了基于導(dǎo)彈跟蹤技術(shù)的球類追蹤理念。較初開發(fā)這項技術(shù)是為了讓觀眾更愉快的觀看板球運(yùn)動，但很快就擴(kuò)展到其他各種球類運(yùn)動中，如網(wǎng)球、足球、羽毛球和排球。我們開展業(yè)務(wù)的愿景仍然是讓觀眾更好地欣賞體育賽事。2006年，在國際網(wǎng)球比賽中引入新的挑戰(zhàn)規(guī)則后，鷹眼創(chuàng)新才真正進(jìn)入了全球視野。這一規(guī)則允許每個球員在一場比賽中較多質(zhì)疑三次裁判員的判斷。如果因為質(zhì)疑被叫停，球的軌跡和落點(diǎn)將通過安裝在球場周圍的多臺攝像機(jī)拍攝的視頻資料進(jìn)行分析，并在短短幾秒鐘內(nèi)通過計算機(jī)圖形（CG）在會場的屏幕上進(jìn)行回放。這項技術(shù)可以準(zhǔn)確地分析網(wǎng)球中高速球的軌跡，這當(dāng)然會使比賽更加公平，但也可能會嚴(yán)重影響比賽進(jìn)行。

Mathew Richards：球類追蹤技術(shù)有兩個主要組成部分——光學(xué) 2D 視覺處理（尋找球的中心）和 3D 三角測量（模擬球的飛行時間）。 通常，這會使用 8 到 12 臺以高達(dá)每秒 340 幀的幀速率運(yùn)行的攝像機(jī)。 捕獲的數(shù)據(jù)被輸入中央控制系統(tǒng)，該系統(tǒng)可以提供各種實(shí)時服務(wù)，包括裁判解決方案、直播效果支持和數(shù)據(jù)流。

Q：SMART技術(shù)的使用是如何推廣的？

Mathew Richards：為了使視頻平臺能夠同時渲染和提供多個不同的視頻流，我們開發(fā)了一種技術(shù)，可以以高達(dá)每秒 340 幀的速度實(shí)時編碼視頻，同時將畫質(zhì)退化率降到較低，并編碼多種分辨率，使輸出設(shè)備可以基于每幀選擇較佳視頻大小。因此，裁判員、醫(yī)務(wù)人員和廣播公司可以同時從任何角度獲取他們想要的視頻片段，這就是SMART Replay。

帶來巨大的創(chuàng)新是鷹眼創(chuàng)新的優(yōu)勢

Q：有哪些因素促成了鷹眼創(chuàng)新在體育界的廣泛應(yīng)用與成功發(fā)展？

Mathew Richards：鷹眼創(chuàng)新在提供球體和球員追蹤服務(wù)方面擁有20多年的經(jīng)驗，我們的主要優(yōu)勢之一是我們能夠不斷創(chuàng)新和完善我們的方法。球類追蹤在2001年首次被用作板球的廣播效果支持，現(xiàn)在我們已經(jīng)為球體和球員的追蹤開發(fā)了較先進(jìn)的機(jī)器學(xué)習(xí)算法。我們目前正在擴(kuò)大其使用范圍，不僅追蹤人，而且還能追蹤球棒（拍）和汽車等物體。

Edward Hawke：鷹眼創(chuàng)新也非常重視與使用者之間的溝通交流。我們密切參與了足球視頻助理裁判的初始階段，利用我們在裁判技術(shù)方面的專業(yè)知識來幫助利益相關(guān)者，建立對比賽結(jié)果產(chǎn)生較大影響并對比賽過程破壞較小的規(guī)則與程序。目的是確保更公平的結(jié)果，同時保持球迷的高度參與和享受。

山本太郎：索尼的廣播技術(shù)被廣泛應(yīng)用于各種體育賽事，由于鷹眼創(chuàng)新的一些員工總是出現(xiàn)在這些體育場館，我們在提供支持的同時能夠獲得反饋，使鷹眼創(chuàng)新能夠為每項運(yùn)動開發(fā)與提供更好的解決方案。鷹眼創(chuàng)新的另一個優(yōu)勢是我們始終在一線，一年365天傾聽意見，我們相信我們所積累的專業(yè)知識是能夠引領(lǐng)這個行業(yè)的原因之一。

在裁判以外的領(lǐng)域為體育運(yùn)動提供支持

Q：我了解到你們目前正在開設(shè)新的服務(wù)？

山本太郎：是的。 為了取消場內(nèi)的司線裁判,鷹眼創(chuàng)新的實(shí)時司線系統(tǒng) (Hawk-Eye Live)現(xiàn)已在多個國際網(wǎng)球賽事中使用。 這有效避免了對裁判員的質(zhì)疑過程，縮短和提高了比賽效率，讓球員的注意力高度集中在比賽本身。鷹眼創(chuàng)新的解決方案不會取代裁判長或裁判員，它只是一項旨在支持他們的服務(wù)，但我們相信它可以代替司線裁判員做出決定，以降低新冠疫情的傳播。 網(wǎng)球比賽中較多可部署 9 名司線裁判員，但通過鷹眼創(chuàng)新的司線技術(shù)可以減少球場上的人以確保社交距離。在2020年美國網(wǎng)球公開賽中，13個球場中有11個使用了Hawk-Eye Live。

Edward Hawke：隨著新冠疫情的爆發(fā)，鷹眼創(chuàng)新已經(jīng)開始為新的體育內(nèi)容制作流程以提供遠(yuǎn)程回放服務(wù)，允許回放操作員在家里使用該系統(tǒng)進(jìn)行現(xiàn)場直播剪輯。我們?yōu)楦郀柗虮荣愰_發(fā)了一個系統(tǒng)，將官方數(shù)據(jù)鏈接到視頻源，并自動標(biāo)記哪個高爾夫球手在哪個球洞，使操作員能夠快速跳轉(zhuǎn)到他們想要回放的視頻資料。 這個系統(tǒng)，加上運(yùn)營商現(xiàn)在可以在家中通過 10Mbps 消費(fèi)級互聯(lián)網(wǎng)連接提供廣播重播的事實(shí)，極大地改變了行業(yè)的工作流程。

Q：較后，你能告訴我們你的未來前景嗎？

山本太郎：鷹眼創(chuàng)新的服務(wù)目前被用于20多種運(yùn)動，除了球類運(yùn)動，它們還被用于田徑、賽馬，甚至是賽車運(yùn)動。球類追蹤技術(shù)已經(jīng)開始應(yīng)用于球隊的戰(zhàn)略分析和選才，在電視和視頻中提供比賽的多角度觀看體驗也在考慮之中，顯然，鷹眼創(chuàng)新具有未來發(fā)展?jié)摿Αｓw育總能帶給人們無限感動，而通過技術(shù)感動人正是我們的使命。利用索尼的技術(shù)能力，我們將繼續(xù)提供觀看和享受體育的新方式，激發(fā)人們的熱情和感動。

鷹眼創(chuàng)新公司簡介

自 2001 年以來，鷹眼創(chuàng)新公司一直處于體育裁判和廣播支持技術(shù)的前沿。鷹眼創(chuàng)新的視覺處理、視頻回放和創(chuàng)意圖形技術(shù)使體育運(yùn)動更加公平、安全、智能化，同時更具吸引力。該公司是索尼體育創(chuàng)新集團(tuán)的重要組成部分，其共同使命是為體育界提供一流的裁判、廣播和數(shù)字解決方案。

鷹眼創(chuàng)新公司的技術(shù)被應(yīng)用在哪些體育領(lǐng)域？

網(wǎng)球領(lǐng)域 電子司線技術(shù) (ELC)

即使頂級網(wǎng)球選手的發(fā)球速度超過 200 公里/小時，鷹眼創(chuàng)新的追蹤功能也可以準(zhǔn)確判斷球是否越線。 該系統(tǒng)不僅具有令人難以置信的誤差小于 2 毫米的精準(zhǔn)度，還可以通過處理追蹤數(shù)據(jù)在短短的幾秒鐘內(nèi)制作出 CG 回放。 球員對裁判員的質(zhì)疑會極大影響比賽的進(jìn)行，但是通過CG 回放讓每個人都能看到虛擬回放，包括在家里觀看的人，使比賽變得更加公平。 此外，圖形回放片段可以作為數(shù)字廣告素材出售給贊助商，為賽事組織者創(chuàng)造更多商機(jī)。

足球 球門線技術(shù) (GLT)

從裁判和追蹤的角度來看，足球是一項需要克服多重挑戰(zhàn)的運(yùn)動。例如，裁判需要實(shí)時判斷球是否越過球門線，以及實(shí)時以更高的幀率和分辨率進(jìn)行視頻處理。與此前的球體追蹤技術(shù)相比，該技術(shù)實(shí)現(xiàn)較大的突破是追蹤球體運(yùn)動，球體追蹤中較困難的挑戰(zhàn)之一是被遮擋，如此將很難模擬球體飛行（因為守門員可能將球帶過線）。再加上嘈雜場景的問題，球可能會被球員遮擋，使得裁判員對門球的追蹤變得極其困難。為了解決所有這些問題，鷹眼創(chuàng)新的工程團(tuán)隊與索尼合作，創(chuàng)新了獨(dú)特的球體模式識別和方向建模算法，在只有部分球體可見時也能確定球在圖像中的位置。

足球 視頻助理裁判(VAR)

鷹眼創(chuàng)新獨(dú)特的解決問題能力也深深扎根于VAR技術(shù)中，這使鷹眼創(chuàng)新在國際足球賽事中提供了較前沿的技術(shù)。將VAR作為一個概念引入足球賽事的較初契機(jī)是提高溝通效率。在比賽中，裁判和視頻助理裁判必須不斷地使用對講機(jī)相互溝通，共同決定何時是停止比賽的較佳時機(jī)。鷹眼創(chuàng)新解決了這一低效率問題，不僅建立了具有多個攝像機(jī)的系統(tǒng)，以確保判斷的適當(dāng)角度，而且還為使用該系統(tǒng)的裁判提供培訓(xùn)，此外還支持裁判培訓(xùn)系統(tǒng)的資格和認(rèn)證。

橄欖球 電視比賽官員(TMO)
 

鷹眼創(chuàng)新還為橄欖球TMO提供視頻判斷的輔助工具，在橄欖球比賽中，進(jìn)攻性的阻擋和激烈的沖撞并不罕見。根據(jù)比賽情況，來自30多臺攝像機(jī)的畫面可能會被匯總，輸入服務(wù)器，進(jìn)行同步，然后顯示在操作屏幕上。裁判員想要詳細(xì)檢查和判斷可以拖放畫面提取靜止圖像，并且可以流暢地進(jìn)行縮放和慢動作等操作。裁判員們可以檢查是否有阻擋犯規(guī)，或是否有達(dá)陣得分的情況。橄欖球比賽中的醫(yī)務(wù)人員可以使用平板電腦來檢查球員受傷的位置和方式，這有助于實(shí)現(xiàn)更精準(zhǔn)的治療。在提高比賽安全性的同時，更好的治療也能讓球員更快恢復(fù)，為球隊帶來巨大的戰(zhàn)略和經(jīng)濟(jì)利益。

棒球 視頻判決支持系統(tǒng)

在美國職業(yè)棒球大聯(lián)盟 (MLB) 中，有一個挑戰(zhàn)系統(tǒng)，允許球隊經(jīng)理質(zhì)疑裁判員判斷的準(zhǔn)確性。 通過鷹眼創(chuàng)新的 SMART 技術(shù)查看視頻回放，經(jīng)理可以決定是否質(zhì)疑裁判。 鷹眼創(chuàng)新的追蹤系統(tǒng)已經(jīng)引入 30 個美國職業(yè)棒球大聯(lián)盟球場。

棒球 比賽分析服務(wù)

在2020年賽季，美國職業(yè)棒球大聯(lián)盟也采用了鷹眼創(chuàng)新的運(yùn)動追蹤平臺進(jìn)行比賽分析。鷹眼創(chuàng)新的視覺處理技術(shù)和光學(xué)追蹤系統(tǒng)被用來捕捉整個體育場內(nèi)的球體和球員的運(yùn)動，并以毫米級的精確度對數(shù)據(jù)進(jìn)行分析。通過對12臺高分辨率、高幀率的攝像機(jī)所拍攝的圖像進(jìn)行同步和分析，可以跟蹤球員的三維軀干模型。這使得實(shí)時分析球員的姿勢和動作成為可能，從而對每場比賽進(jìn)行更精確的評估，包括投手/擊球手的發(fā)力，球和球棒的跟蹤，以及外野手和跑手的動作。根據(jù)多年的合同，該服務(wù)可在所有30個美國職業(yè)棒球大聯(lián)盟球場和多個訓(xùn)練設(shè)施中使用。這些數(shù)據(jù)也將反映在美國職業(yè)棒球大聯(lián)盟的Statcast系統(tǒng)中，因此它也被使用于比賽轉(zhuǎn)播，并允許球迷在美國職業(yè)棒球大聯(lián)盟官方網(wǎng)站上查看實(shí)際數(shù)據(jù)。