索尼技術日公開八項黑科技--欲以技術激發情感
12月6-8日,索尼集團公司(下稱“索尼”或“公司”)舉行了“索尼技術日”,一個展示索尼集團各項技術的線上活動。索尼以“激發情感的技術”為主題,介紹了如下八項技術,這些技術將索尼集團的各項不同業務連接起來并支持公司的發展。
索尼的定位是“建立在堅實技術基礎上的創意娛樂公司”,企業宗旨是“用創意和科技的力量感動世界”。在活動開幕式上,索尼集團公司執行副總裁兼首席技術官勝本徹表示:“我希望率先通過人才和技術將索尼集團的眾多不同業務聯合起來,這將有助于我們朝著感動世界的方向進一步發展我們的產品、內容和服務。”
物理世界和虛擬世界的融合
-“利用黑彩晶(Crystal LED)和電影攝像機實現的虛擬制作”——激發創作者的創造力
虛擬制作是一個全新的視頻制作技術的總稱,它將實景真人視頻和計算機圖形(CG)實時合成在一起。通過“鏡頭內視覺特效(In-Camera VFX)”--一種虛擬制作形式,與攝像機移動聯動的3D CG圖像作為背景,被投射到表演者身后的片場LED顯示屏上。這使創作者擺脫了傳統綠幕拍攝時對CG構圖要求高的麻煩,以及天氣、時間和地點等的限制。黑彩晶(Crystal LED)是一種LED顯示屏,它結合了索尼特有的LED控制技術和不斷精進的BRAVIA?系列的信號處理技術,投射出亮度高、視角廣的具備震撼真實效果的高清圖像。數字電影攝影機“VENICE 2”配備了新開發的8.6K圖像傳感器,帶來高分辨率、寬色域的豐富細節表現,即使在不同程度的多種亮度條件下也能表現出豐富的層次感。這種攝影棚內場景顯示和鏡頭的組合在色彩再現和色調表達方面配合得相得益彰,使更真實的內容制作成為可能。此外,索尼集團將加深與集團內外的創作者以及參與實際拍攝的工程師的合作,以推動虛擬制作解決方案的發展,高效地制作高質量內容。
-“電子競技跟蹤系統和數據可視化技術”——將所有表演可視化
此次活動還重點介紹了SkeleTRACK,即索尼集團旗下公司“鷹眼創新公司”應用于足球領域的電子競技跟蹤系統(EPTS)。該系統從專用跟蹤攝像機拍攝的實時視頻流中捕捉球員和比賽用球的移動信息,實時收集骨骼數據,可精確到毫米級。鷹眼的“虛擬重建”數據可視化技術也被用來處理從EPTS和視頻回放系統中獲取的數據,進行虛擬輸出。
鷹眼不斷精進的高級圖像處理技術、人工智能識別技術,結合索尼的專業廣播輸出能力和圖像傳感器技術,使包括球員動作這些細節在內的整場比賽轉換為數據信息,將以前無法捕捉的比賽表現可視化。在未來,索尼集團和鷹眼創新公司的目標是應用這項技術為各項娛樂事業做貢獻,而不僅限于體育領域。
對真實的追求
-“OLED微顯示器和低延遲頭顯”——分享震撼真實感的體驗
這是一款虛擬現實(VR)頭戴顯示器(HMD),可以投射出高清3D空間場景,實現單眼4K、雙眼8K的高分辨率。得益于開發和制造CMOS圖像傳感器所積累的精細加工技術和先進的封裝技術,以及應用在顯示器開發中所積累的部件和電路技術的有機發光二極管(OLED)微顯示器,高清圖像得以通過多像素和小型化實現。由于整合了多個傳感器的數據,整個系統的延遲減少,從而使處理時間減少。用VR觀看的人可以通過移動頭部實時體驗到高清的圖像。除了工業應用外,OLED微顯示器有望應用于娛樂領域,因為它可以隨著觀看者移動頭部實時展現材料的紋理和人的表情。
-“在光線追蹤中使用超分辨率技術”——平衡高分辨率和制作效率
該項技術利用自20世紀90年代以來使用機器學習開發圖像所積累的專門知識,實現了有限計算資源下的性能較大化,能以高分辨率、高精度地拍攝各種場景不同角度和高質量的圖像。對于含有大量數據的3D內容,通過減少使用的射線數量并基于角色形狀、紋理和照明等信息渲染圖像,制作時間有望減少幾百倍。這項開發工作是與索尼影視娛樂公司合作進行的,反映了創作者的心聲,旨在從2D到3D擴大應用范圍,在娛樂領域開發出廣泛的使用場景。
-“PlayStation?5使用的三項技術”——實現令人驚嘆的沉浸感
本次活動還介紹了PlayStation?5使用的三項技術。Tempest 3D音頻、觸覺反饋和自適應扳機。Tempest 3D音頻采用DSP(數字單一處理器)設計,實現了極其精確的音頻定位,聲音從四面八方360度傳來、環繞聽者,仿佛置身在一個擁有無數揚聲器的球形空間內。觸覺反饋能夠根據游戲中的情景改變新開發的雙制動器的振動,實現各種不同的觸覺反應,提供一種身臨其境的體驗。此外,DualSense?無線控制器的L2/R2按鈕所采用的自適應扳機,通過小型精密齒輪和內置高扭矩馬達,能對游戲中的動作產生強大的實時觸覺反饋體驗。索尼互動娛樂公司將繼續開發這些技術,致力于“為每個人提供較佳的游戲場所”。
貢獻于人類、社會和地球
-“用于車載激光雷達的堆疊式SPAD測距傳感器”——從光粒子中實現高精度探測
此次活動還介紹了一些在低光源下高精度地探測周圍物體距離的傳感器。這些傳感器主要由三個元素組成:捕捉光源并將其轉換為電信號的SPAD(單光子雪崩二極管)像素,傳輸這些信號的銅-銅連接,以及邏輯芯片(包含從信號中提取測距信息的電路)。通過利用索尼CMOS圖像傳感器開發過程中積累的優勢,這些傳感器僅依靠一個小型緊湊的芯片實現從短距離到長距離的高速度和高精度測距。索尼集團有志于通過在探測和識別方面推進激光雷達的進化,幫助建立一個安全有保障的出行社會。
-“機械手”——再現人手的精巧
這項技術基于檢測到的指尖受到壓力分布的變化、實時檢測物體可能滑脫的跡象,讓機器人得以小心地握住未知物體。有了這項技術,機器人的手可以通過適當地調整力量來抓取物體而不掉落。此外,測距傳感器能檢測到手指到物體的距離,所以機器人能以適當的位置和姿勢抓取物體。因為該機械手可以像人類的手一樣精巧地抓取物體,所以有望在難以引入傳統工業機器人的新領域幫助人類。索尼將人工智能和先進的傳感技術與機器人相結合,旨在加強機械手的能力,并不斷開發豐富人們生活的機器人技術。
-“地球‘MIMAMORI’平臺”——守望地球
這一系統若能實現,將能夠檢測到地球上任何地方的異常跡象,如環境問題和災難,在問題發生之前進行預防。該系統將通過提前提醒潛在的異常情況,敦促人類以可持續的方式活動。該系統將包含索尼集團的眾多技術,如能夠測量水分含量的土壤水分傳感器;ELTRES?,使用LPWA(低功耗廣域網絡)無線通信技術的衛星通信系統;以及利用人工智能的復雜預測數據分析技術。索尼計劃通過實地考察和示范實驗,繼續為實現這一平臺而努力,從而幫助共建一個更可持續的未來。