“建立在堅實技術基礎上的創意娛樂公司”索尼，始終以“人”為本，在前沿技術領域不斷探索進取。后疫情時代，索尼黑科技正式確立了3R戰略（真實（Reality）、實時（Real-time）和遠程（Remote），致力于為內容創作賦能，共同開創前所未有的娛樂表達方式?！八髂岷诳萍肌睂趯⒍ㄆ跒槟榻B較具代表性的索尼技術創新成果，探索如何“用創意和科技的力量感動世界”。 本期將為您帶來的是——360臨場音效。

    索尼360臨場音效讓聽眾沉浸在仿佛來自四面八方的聲音中，似乎樂隊就在眼前演奏。自2019年秋天推出以來，集成索尼集團技術積累而打造的這種全新音樂體驗，通過與著名藝術家的成功合作，獲得了人們的關注。目前，索尼正在構建一個生態系統，將這一體驗帶給全世界的人們。

受訪人信息：

球形聲場帶來的沉浸式體驗

──究竟什么是360臨場音效？

富岡萬紀：360臨場音效是一種全新的音樂體驗，使用索尼基于對象的音頻技術創造一個逼真的聲場。我們通過提供制作、分發和播放兼容內容所需的技術，打造一個開放的生態系統。具體來說，在內容制作過程中，位置信息被附加到每個聲源上，如人聲、和聲、樂器等，并被置于一個球形空間內。為了將這種新的娛樂形式順利地推介給廣大用戶，索尼向創作者和藝術家提出了一系列技術建議。自2019年秋季該服務推出以來，歐洲、美國和亞洲的多個流媒體服務已經發布了不同類型的兼容音樂。

──360臨場音效與其他立體聲場的體驗有何不同？

海野由紀子: 它有三大特點。首先，由于它從制作到分發都是基于對象的，因此可以根據不同播放設備上的各種收聽方式進行調整，從而實現高質量的聲場再現。這里的"基于對象"是指根據接收方的喜好和音頻系統傳遞聲音素材和元數據，生成音頻信號的方法。再則，在內容創作過程中，創作者和藝術家可以將人聲、和聲、樂器等聲源自由定位在一個球形的空間內。還有一個較重要的功能是，通過智能手機拍攝的耳朵照片分析個人的聽覺特征，可以針對個人進行聲學優化，讓他們在使用耳機播放的情況下也能享受到360臨場音效的音頻體驗。除此之外，它基于MPEG-H 3D音頻國際標準，因此可以在整個音樂行業廣泛使用，該格式可以通過智能手機和其他移動設備進行流媒體播放，是音樂分發服務的理想選擇。

──哪些技術是用來分析個人聽覺特征的？

福田和巳: 為了重現身臨其境的空間聲場，針對每個聽眾的獨特聽覺特征優化播放效果是非常重要的。當聲音到達你的耳膜時，它已經在幾個不同的表面上進行了反射和衍射，包括地板、墻壁，甚至你自己的身體。聲音的特性會根據人的耳朵與聲源的相對位置發生變化，人們會根據這些差異下意識地判斷聲音來自哪里。360臨場音效就是利用這些聲音特性，讓人產生從耳機外聽到聲音的感覺，從而再現空間聲場。然而，人的耳朵和頭部形狀不同，對聲音的感知也不同。因此，要想獲得更深的沉浸感，就必須進行個性化優化。我們開發了一種個人優化算法，根據我們記錄頭部/耳朵形狀和聽力特征之間關系的專有的數據庫，利用機器學習從耳朵的照片中預測聽覺特征。因此，通過使用"Sony | Headphones Connect"應用程序拍攝耳朵照片，用戶可以使用云端的算法分析自己的聽覺特征，并創造優化的聲音體驗。

雖然使用任何廠商的耳機都可以享受到兼容360臨場音效的內容，但若想打造更為優化的聆聽體驗，則需要索尼耳機對于個人聽覺特征的分析。上圖中行業領先*的WH-1000XM4降噪耳機就是索尼的推薦產品之一。

*截至2020年4月21日，基于索尼研究，采用符合JEITA標準的準則測量，指頭戴式降噪耳機市場。

──開發和推出這項服務較困難的部分是什么？

海野由紀子：提高個性優化聲音體驗的準確性是一個挑戰。索尼基于用戶耳朵的照片推斷個人聽覺特征的專有技術，集成了圖像處理技術、人工智能技術、空間聲學理論和人耳數據庫，且都為自主研發。我們為這個想法感到非常自豪，但要將其付諸實踐，我們需要復查數據庫并為用戶創建拍攝照片的方法。模型推出之前，我們做了很多準備工作。一開始，我們努力提高音質和聽源定位，使得很難界定個性優化的標準。于是，我們從頭審視了處理流程，找出了影響準確性的處理模塊。通過集中精力改進這些模塊的算法，我們得以改善了音質和聽覺定位。我們非常感謝那些幫助我們進行大量評估的人。較終，我們能夠實現發布更加沉浸式的聲音體驗。該產品在日本和海外都進行了評估。我們設置了可以體驗360臨場音效的試聽室，并為廣泛的聽眾進行了音質評估。我們對這種新的音樂體驗將如何被接受感到緊張，但還是得到了非常積極的反饋，比如 "就像被聲音包圍了"，"就像置身于現場音樂會中"。這給我們推出這一服務增強了信心。

優化聽覺特征，讓用戶體驗到沉浸感，如同置身演出現場。

富岡萬紀：在推出之前，我們面臨著一項新業務會遭遇的所有挑戰。我們與唱片公司、藝術家、混音工程師和音樂發行公司進行了艱難的談判。我們還前往海外，向盡可能多的人展示360臨場音效的價值。這種全新的音樂體驗有望促進行業發展，我們認為，如果人們能夠理解我們所提供的價值，合作伙伴范圍將會擴大。果不其然，甚至是那些較初對空間音效持懷疑態度的人，在我們演示后也給予了非常積極的反饋，演示后也總會引發進一步的討論。

調動整個音樂產業參與內容制作

──你們也在專注于創造兼容的內容。除技術開發外，為什么還關注內容創作？

富岡萬紀：制作各種高質量、有吸引力的內容，是為人們創造一個新的生態系統，使其享受360臨場音效等空間音頻的關鍵。索尼的研發中心、索尼家庭娛樂和音頻產品公司和工作室工程師密切合作，推動內容制作直至該服務推出。

──你們是如何合作為360臨場音效創作內容的？能否介紹一下你們的具體工作流程？

福田和巳：研發中心開發了360臨場音效制作工具，并提供給各大廠牌的制作工作室。這些制作工具可以讓工程師在球形空間內自由放置樂器和人聲，而工具中所搭載的空間音頻技術可以讓他們使用耳機和揚聲器確認位置。

富岡萬紀：業務開發部將制作的基礎設施引入到索尼音樂娛樂公司（SME）及其附屬的一些工作室，并對其工程師進行了內容制作方面的培訓。在與流媒體服務商討論了可行的內容后，我們會接洽唱片公司，并請他們制作。我們還開發了一個360臨場音效應用程序，用于處理藝術家對混音歌曲的審批。

海野由紀子：產品技術二部與業務開發部及工作室工程師合作，挖掘了一連串的內容制作技巧。通過多次嘗試和試驗，我們總結出了一套能有效產出360臨場音效的聽覺定位、空間感、韻律感等關鍵特征的方法。

Mark Wilder：Battery studios（索尼音樂娛樂公司位于美國紐約的音樂制作機構）與各個團隊攜手合作，為軟件和技術進步提供想法，并幫助準備來自SME和其他唱片公司內容。Battery Studios致力于“One Sony”戰略，這是一個非常充實的過程。

為世界各地的用戶提供感動人的音樂體驗

──能和我們分享未來的計劃和發展潛力嗎？

富岡萬紀：自2019年10月在紐約舉行360臨場音效發布會以來，我們收到了很多來自業內專業人士和用戶的積極反饋，360臨場音效的市場占有率也在穩步增長。日前我們一直在努力發行The Chainsmokers和Kane Brown等索尼音樂娛樂旗下熱門藝人的歌曲。未來，索尼計劃在各個國家建立合作關系，旨在進一步擴大用戶群。

Kane Brown利用360臨場音效發布了兩張較新專輯

海野由紀子：我想，我們能夠在新興的空間音頻領域創造出這一全新的音樂體驗，要歸功于我們員工多樣化的知識儲備。我們希望大家能享受這種全新的、沉浸式的聲音體驗。我們將繼續挑戰在音頻領域開發新技術。

Mike Piacentini：在過去的幾年里，看到索尼集團全體員工齊心協力在不同國家跨不同的業務集團共同推出一款產品，我感到非常榮幸。

福田和巳：在瞬息萬變的社會環境中，娛樂業不斷發展，我希望為用戶提供全新的音樂體驗，并尋找新的方式為他們提供感動（kando）。