“建立在堅實技術基礎上的創意娛樂公司”索尼，始終以“人”為本，在前沿技術領域不斷探索進取。后疫情時代，索尼黑科技正式確立了3R戰略（真實（Reality）、實時（Real-time）和遠程（Remote），致力于為內容創作賦能，共同開創前所未有的娛樂表達方式。“索尼黑科技”專欄將定期為您介紹較具代表性的索尼技術創新成果，探索如何“用創意和科技的力量感動世界”。本期將為您帶來的是——連接現實和虛擬世界的現場音樂體驗。

    新冠肺炎疫情加速了音樂活動在線直播的發展。與此同時，這些經歷讓人們意識到，沒有觀眾的在線直播音樂會與真實的親身體驗有多么不同。因此索尼決心解決這個問題。作為其 " Lindbergh項目"的一部分，這是舉全集團之力推進的擴展現實（XR）娛樂計劃，索尼旨在提供一種全新的體驗，通過使用VR技術連接藝術家和粉絲，來連接現實和虛擬世界。為了了解更多關于這個項目現在的情況和未來的走向，我們采訪了項目開發負責人今村隆和負責UI/UX和交互開發的高橋一真。

受訪人資料：

索尼對于全新VR現場音樂活動體驗的愿景

Q：您所說的 "連接現實和虛擬世界的現場音樂體驗" 是什么意思？

今村隆：索尼并不是唯一一家尋求使用VR技術向粉絲提供現場音樂體驗的公司。現在市場上已經有了一些服務。大多數情況下，VR攝像機被安裝在會場，內容通過頭戴式顯示器展示給觀眾，讓觀眾在家中進行觀看。但是，藝術家的表演并不是在那個物理空間中唯一發生的事情。在現場，你可以感受到周圍興奮的粉絲的熱情，享受與藝術家的互動，并在周邊商店里購買商品和其他物品。如果沒有這些元素，虛擬就遠遠不如真實的體驗。我們要做的是將這些真實體驗的價值轉化并移植到虛擬世界中，同時也為體驗添加一個獨特的虛擬維度，創造全新的價值。

連接現實和虛擬世界的現場音樂體驗——它看起來是什么樣的？

場館大廳

在演出前，在大廳與你的朋友見面，分享你對即將到來的演出的興奮，選擇一個熒光棒或其他物品帶入會場，而且可以在音樂會前試用一下。

在舞臺前

即使在現場表演時也可以與朋友互動，一起為表演者加油。你甚至可以鼓掌和揮舞熒光棒或其他物品來表示支持。你不僅可以看到你的朋友，同時也可以看到會場上所有其他的粉絲。

演出過程中

現場表演不僅僅是流媒體音樂和視頻，還帶有互動功能：觀眾的座位與視頻同步移動，藝術家可以回應他們激動的粉絲，向他們發送飛出的心等等，使舞臺表演更加精彩。

演出結束后

演出結束后，你回到大廳，可以一邊享受演出的余韻，一邊與朋友談論音樂會的情況。在演示時，還向用戶發送了領取演出照片的機會（甚至會有驚喜，如隱藏在照片背面的藝術家的簽名或留言）。

Q：這個項目是什么時候開始的？怎樣開始的？

今村隆：這段時間，我們一直致力于現場音樂空間的VR流媒體方面的探索，2019年12月在PlayStation? VR上取得了顯著的成功。從那時起，我們一直在努力改進VR拍攝技術，以提高圖像質量。我們還參與了一些與提供場地音頻有關的不同挑戰，這是在線音樂活動體驗的重要方面。在這個領域，我們實現了Survive Said The Prophet的VR音樂體驗，它在2020年獲得了美國的Lumiere Award大獎。然而，當我們與音樂現場的粉絲交流時，得到的反饋很明顯，僅僅提供音頻和視頻是不夠的。他們說，團結統一的現場感是很重要的。我們想知道，如何能夠利用技術將這些體驗帶入生活，這個項目就應運而生了。

高橋一真：從那時起，我們進行了大量的討論，意識到除了音樂表演本身之外，表演前與朋友聊天、享受音樂余韻以及身處環境中的高雅氛圍等方面都是現場表演的重要內容。我們一致認為，逼真的高畫質、近距離接觸藝術家、隨意改變攝像機角度等元素是VR現場體驗的較佳部分，但僅有這些元素是不夠的。

今村隆：我認為在目前的疫情挑戰下，現有的遠程在線演出形式意義非凡。但是，你只是在客廳里用智能手機的小屏幕觀看，在演出結束的那一刻，樂趣就結束了，而且沒有辦法享受前后的氣氛，這有點遺憾。

連接藝術家與粉絲，粉絲與粉絲

Q：在虛擬空間中重現音樂活動現場的氣氛時，有什么要著重注意的嗎？

今村隆：較重要的是要避免任何沉浸感的削弱。你需要避免任何將用戶拉回現實并讓他們思考 "等等，我在做什么？"的事情。在這方面，我們所做的一件事是盡量減少控制，使其簡單而直觀。我們開發了更多的物理控件，讓用戶真正地拍手和豎起大拇指，而不是像過去的音樂VR內容那樣，按下控制器上的一個按鈕來揮舞熒光棒。這比我們想象的更有效，讓用戶有一種通過移動身體而與音樂同步搖擺的感覺，使整個體驗更加有趣。

高橋一真：你剛才看到的演示帶有預先錄制好的音樂會片段，包括藝術家們準備好的虛擬反應，但如果你嘗試一下，仍然可以享受到與藝術家互動的感覺。你可能會大喊大叫，結果藝術家還是與你旁邊的人互動，而不是跟你互動......但這讓你覺得要更大聲的呼喊才行。藝術家和粉絲之間的這種聯系，以及粉絲和其他粉絲之間的聯系，是我們的一個關鍵重點。

你說的對—在現場和同齡人在一起，在感受他們的動作和聲音的同時享受表演，真的感覺很新鮮。

今村隆：適當控制觀眾群內的交流也是非常重要的。目前，演示系統允許多達28個用戶同時參與同一現場音樂活動，但你只能較多與四個人通過語音聊天密切交流。與這四個人之外的參與者的互動僅限于非語言交流；你聽不到他們說什么，但可以聽到他們鼓掌，看到他們揮舞熒光棒。

高橋一真：除了保持朋友之間的密切溝通，我們非常注重保證周圍粉絲的真實感。你周圍的觀眾看起來并不會像CG或機器人簡單地揮舞著他們的熒光棒，我認為這有助于增強演出中的沉浸感。

今村隆：觀眾座位的安排是為了讓每一個參與者都有一個較好的座位來享受音樂會。這是只有在VR中才能做到的。當然，粉絲們喜歡這樣，但內容創作者和藝術家也喜歡這樣，因為這可以讓他們在演出中向每一位觀眾準確地展示他們想要的東西。盡管如此，我們還是要注意保持參與者在群體中的相對位置，以便在與朋友交流時不會出現矛盾的動作，例如在相互揮手時。

在索尼多元資產的高歌猛進中促進技術的進步

Q：你在 " Lindbergh計劃 "中的經驗是如何被用來實現這一切的？

今村隆：" Lindberg "是我們在過去三年中一直致力于的一個全集團項目，我們不斷與這些領域的專家討論拍攝、成像和音頻技術。在這次構建互動體驗時，我們也參考了互動技術團隊的原型。

高橋一真：雖然我們以前也參與過一些集團范圍內的項目，但對我們來說，這是個特殊的機會，可以與藝術家和娛樂行業的其他人如此緊密地聯系在一起。我們讓娛樂專家看了我們這些技術領域的人創造的原型，并一起工作，來解決批評意見，并納入他們的想法和建議，以提出新的體驗。

今村隆：更具體地說，具有不同背景的團隊成員集思廣益，創造出一個抽象的、獨特的VR現場音樂體驗的概念。然后，由高橋一真領導的創意中心團隊通過故事板將這個想法可視化。然后，這些具體的想法由團隊成員審查，并檢查是否有與概念不一致的地方。有時，技術團隊成員會創建一個簡單的原型來驗證這個概念。我們一遍又一遍地重復這個過程，較終形成了現在的體驗。

因為我們傾向于從技術出發提出想法，所以索尼音樂團隊成員的意見對于了解藝術家和娛樂行業其他人的觀點是非常有用的。類似的激烈討論持續了大約三年，而討論的精髓已被應用到當前的演示中。

挑戰：提供低延遲的藝術家互動

Q：在這個過程中，有沒有什么技術障礙是一個特別的挑戰？

高橋一真：在我的設計領域里，可能是要找出視覺表達的解決方案。雖然我在電視等顯示的二維視覺設計方面有很多經驗和知識，但在用戶可以隨意移動的三維空間里，這些經驗在很多情況下是完全沒有用的。例如，2D圖像中的一個微不足道的指令，如閃亮的粒子雨，在虛擬空間中看起來與你的預期可能完全不同，會難以看清。解決此類問題是體驗中令人耳目一新的部分。

Q：你認為未來會遇到哪些技術上的障礙？

高橋一真：我想繼續接受挑戰，即如何利用技術和設計來較好地展現藝術家的表演。我們怎樣才能讓周圍只有綠色屏幕的藝術家們看到，他們的粉絲正在虛擬的會場空間里為他們加油呢？這就是數據可視化——我們的專業領域的意義所在。現在，我正在研究如何讓藝術家看到如：右邊的粉絲揮手歡呼，而其他人則用熒光棒在空中寫寫畫畫。

今村隆：關于藝術家與粉絲之間的交流，演示中使用了從場景中心發出的互動效果。然而，在實際的現場表演中，我們將需要使用傳感器來跟蹤身體動作，如臉部位置和手部動作，并在此基礎上產生特殊效果。索尼的傳感器和相機技術將在這方面發揮巨大的作用。展望未來，我想繼續追求一種在實際現場音樂表演中無法獲得的體驗，一種超越現實生活的體驗。

在此基礎上，我們將需要解決延遲問題。以目前的流媒體技術，這種規模的內容將導致約20秒的單向延遲。這么長的延遲會扼殺藝術家和粉絲之間任何形式的真正交流。為了解決這個問題，我們不僅需要技術解決方案，還需要對用戶體驗進行更多思考。這個解決方案可能需要在音樂會場地建立某種基礎設施，由于場地業務是索尼音樂集團的專長，我相信他們能想出一些獨特的 "索尼方案"。

擴展到現場音樂表演之外的發展前景

Q：您能談談超越現場音樂活動體驗的發展前景嗎，將現實和虛擬世界連接起來？

今村隆：我認為除了現場音樂活動，我們還可以在其他領域使用這種形式。這會有很多的可能性。它可以用于教育，以觀眾參與的形式放映電影，這在較近變得很流行，也可以用于其他領域。我想把它擴展到取決于交流的內容和體驗。

高橋一真：我期望這項技術可以用來拉近粉絲、藝術家和內容之間的距離。在未來，我想創造一些東西，讓人們在同一時間分享經驗，同時實際存在于同一空間。分享的同時性是特別重要的。我認為，彼此分享千載難逢的時刻是體驗的核心和靈魂。

今村隆：我認為通過這一舉措，我們終于成功地創造了一種體驗，其中包括允許人們在虛擬空間中真正享受某些東西的基本要素。我相信，從這里開始，通過添加各種技術元素，我們可以創造出令人驚奇的、全新的東西。

Q：較后，請告訴我們一些你認為只有索尼能做或創造的事情。

今村隆：索尼的神奇之處在于，我們在集團內部擁有大量的專業知識技能。如果你去市谷或六本木的索尼音樂集團，你可以和娛樂行業的人交談。如果你去Sony City，或厚木技術中心，你可以見到相機和圖像傳感器工程師，如果你去大崎，你可以見到音頻工程師和研發團隊。我相信與所有這些偉大的人討論想法、嘗試新事物和創造新經驗的能力是其他公司無法復制的。如果任何人有興趣通過成為一個殺手級團隊的一部分，并與其他團隊的專業人才相互交流來創造新的東西，請到索尼來看看我們。