智東西（公眾號：zhidxcom）

(資料圖片)

作者 | ZeR0

編輯 | 漠影

智東西 5 月 31 日報道，5 月 24 日 -28 日，以 " 奇境漫游 " 為主題的索尼大型品牌活動 "Sony Expo 2023" 在上海舉行。本屆展會上，索尼中國研究院旗下多項技術(shù)概念驗證結(jié)合索尼人氣娛樂 IP 內(nèi)容的體驗項目悉數(shù)亮相，包括結(jié)合 3D 內(nèi)容生成和動作捕捉技術(shù)的 " 虛擬舞蹈實驗室 "、可取代人力實現(xiàn)機械臂自動拍攝的 " 智能機械攝影室 "、以觸覺反饋技術(shù)助力演唱會等欣賞體驗的 " 沉浸式觸覺劇場 " 等。

期間，索尼（中國）副總裁、索尼中國研究院院長竹中幹雄與智東西等媒體進(jìn)行深入交流，分享索尼中國研究院技術(shù)研發(fā)的方向、舉措以及階段性成果。他談道：" 中國是一個高速發(fā)展和充滿無限可能性的市場，并且人才濟(jì)濟(jì)，在中國做研發(fā)能夠更貼近本土的實際需求、加快研發(fā)成果的概念驗證，從而推動實際落地。"

一、強化中國本土產(chǎn)學(xué)研合作，已發(fā)力 AIGC 方向，未來關(guān)注可持續(xù)發(fā)展

竹中幹雄說，索尼中國研究院的使命是 " 通過開展對索尼技術(shù)的應(yīng)用研究，為中國社會和索尼的業(yè)務(wù)做出貢獻(xiàn) "，研發(fā)聚焦于三個方向——娛樂、移動出行和可持續(xù)發(fā)展。

索尼中國研究院于 2005 年在北京設(shè)立了第一個實驗室，最近幾年又設(shè)立了深圳和上海實驗室，持續(xù)加大在中國的研發(fā)投入。其中，北京實驗室主攻人工智能（AI）、無線通信方面的研究，上海實驗室側(cè)重研究 3D 內(nèi)容制作，深圳實驗室則側(cè)重于傳感器和機器人相關(guān)研發(fā)。

從短期來看，兩到三年間，索尼中國研究院會特別聚焦在中國的娛樂（元宇宙）和移動出行領(lǐng)域，期待通過索尼的 AI、通信、傳感、機器人、3D 內(nèi)容制作等前端技術(shù)，結(jié)合索尼旗下影視、音樂、動畫、游戲等豐富的娛樂內(nèi)容，打造更加多樣和可及的娛樂內(nèi)容創(chuàng)作和欣賞解決方案。

竹中幹雄談道，AI 內(nèi)容創(chuàng)作和 AI 大模型研究是非常重要的前沿技術(shù)，將會給未來的互聯(lián)網(wǎng)帶來極大沖擊，索尼中國研究院目前在 AIGC 方向發(fā)力較多。

從中長期來看，五到十年間，索尼中國研究院希望著眼于可持續(xù)發(fā)展，即利用現(xiàn)有的一些工業(yè)互聯(lián)網(wǎng) IoT 技術(shù)、傳感器設(shè)備，再結(jié)合上索尼中國研究院開發(fā)的 AI 和無線移動通信的基礎(chǔ)技術(shù)，應(yīng)用在農(nóng)業(yè)、老齡化、教育等一些中國現(xiàn)存的社會課題領(lǐng)域，運用索尼的技術(shù)在本土找到合適的合作伙伴，共同開發(fā)相應(yīng)的解決方案，為中國社會的發(fā)展做出一些貢獻(xiàn)。

▲索尼（中國）有限公司副總裁、索尼中國研究院院長竹中幹雄接受媒體采訪

索尼中國研究院正在向應(yīng)用型研究轉(zhuǎn)型，把基礎(chǔ)技術(shù)應(yīng)用到實際場景和產(chǎn)品中，以其現(xiàn)有技術(shù)再加上其他技術(shù)進(jìn)行一些適合中國國情的 PoC 驗證，并會面向特定應(yīng)用領(lǐng)域，在中國尋找合適的產(chǎn)學(xué)研合作伙伴來共同進(jìn)行研究和開發(fā)。

竹中幹雄告訴智東西，通過與合作伙伴一起共同研究開發(fā)新的解決方案和新的應(yīng)用，能夠改進(jìn)索尼中國研究院的技術(shù)。總結(jié)來說，基礎(chǔ)技術(shù)研究這部分是由索尼中國研究院獨自完成的，在基礎(chǔ)研究上面一層的應(yīng)用研究方向，索尼中國研究院希望能夠積極地與外部合作伙伴共同開展。在明確想要在某個領(lǐng)域?qū)ふ液献骰锇闀r，索尼中國研究院會本著互補原則，主動提出邀約合作的提案，共同在中國推進(jìn)某一項技術(shù)的發(fā)展。

二、將關(guān)鍵技術(shù)與現(xiàn)有產(chǎn)品融合，探索未來娛樂內(nèi)容創(chuàng)作體驗

在 Sony Expo 2023 上，索尼中國研究院以給創(chuàng)作者提供更多創(chuàng)作可能性和給用戶提供多維娛樂體驗為目標(biāo)帶來了三個主題體驗項目。

這些項目展現(xiàn)了索尼中國研究院開發(fā)的關(guān)鍵技術(shù)與現(xiàn)有產(chǎn)品的融合與協(xié)同。其展臺的體驗內(nèi)容和空間展示由索尼中國設(shè)計中心統(tǒng)籌設(shè)計開發(fā)，整個展臺是索尼設(shè)計理念、前端技術(shù)、娛樂 IP 的一次融合和展示，是索尼對未來娛樂內(nèi)容創(chuàng)作和體驗的思考成果。

▲索尼中國研究院 Sony Expo 2023 展臺全貌

（1）" 虛擬舞蹈實驗室 " 體驗區(qū)：參觀者可以先進(jìn)入綠幕拍攝區(qū)，拍下自己的真實三維形象，然后佩戴索尼的輕量級動作捕捉設(shè)備，跟著索尼大屏電視上的 RAYNOS-chan 卡通人物形象簡單舞動，記錄下自己的動作數(shù)據(jù)，經(jīng)過索尼的系統(tǒng)生成加工后，就可以在索尼的空間現(xiàn)實顯示屏上裸眼欣賞到自己的三維形象在 3D 空間中跳舞。

竹中幹雄談道，這個項目用到了輕量級動作捕捉系統(tǒng) mocopi、空間現(xiàn)實顯示設(shè)備 Spatial Reality Display 兩個既有產(chǎn)品，與自由視點體積捕捉拍攝技術(shù)（FVV）相結(jié)合，瞬間就能生成 3D 人物，從而創(chuàng)造一種全新的娛樂體驗。索尼中國研究院會提出各種新的應(yīng)用方法提案，然后進(jìn)行實驗價值驗證。

該項技術(shù)已經(jīng)于索尼在華的首個黑彩晶虛擬制作影棚開始了概念驗證實驗，將有望幫助內(nèi)容創(chuàng)作者甚至普通用戶以更輕量級、更可及的方式創(chuàng)造虛擬 3D 內(nèi)容，將現(xiàn)實真實世界映射到元宇宙中。

（2）" 智能機械攝影室 " 體驗區(qū)：參觀者可在一個由索尼虛擬制作技術(shù)打造出的《尼爾：機械紀(jì)元》游戲場景中近距離接觸游戲主角尤爾哈 B 型二號（YoRHa No.2 Type B）。選好游戲關(guān)卡背景后，拍攝機器人能夠自動追蹤并記錄下參觀者與尤爾哈的合照影像，并支持免費下載領(lǐng)取電子照片留念。

這是索尼中國研究院探索的機械臂在娛樂場景的用例，也是全場最大的一個體驗區(qū)。拍攝機器人可智能化的完成追蹤、對焦、構(gòu)圖、拍攝的功能，提供穩(wěn)定的拍攝質(zhì)量，極大節(jié)省人力。未來，索尼中國研究院將進(jìn)一步在該概念驗證中加入可實時移動的中小屏背景，打造更加輕量級，小面積空間可實現(xiàn)的虛擬制作解決方案。

▲在 " 智能機械攝影室 " 體驗區(qū)，機器人正在給體驗者拍照

（3）" 沉浸式觸覺劇場 "：參觀者可以站上特制的地板區(qū)域，觀看電視中索尼音樂旗下藝人 LiSA 演唱會的精彩內(nèi)容。地板上搭載了索尼的觸覺反饋技術(shù)，使得參觀者能與 LiSA 的歌聲同頻共振，通過不同波形的震動效果感受演唱會中的高潮起伏，實現(xiàn) 360 音頻、視頻、觸感多維一體的沉浸式娛樂體驗。

目前，觸覺反饋技術(shù)已應(yīng)用于索尼 PlayStation 5 游戲機的 DualSense 手柄、索尼 Xperia 智能手機的部分型號中。竹中幹雄說，索尼中國研究院考慮將這一技術(shù)應(yīng)用于元宇宙空間中，尤其是在大型娛樂、體驗型設(shè)施的應(yīng)用，提供大型空間的沉浸式娛樂解決方案，現(xiàn)在已與國內(nèi)部分合作伙伴在合作洽談中。

▲索尼中國研究院 Sony Expo 2023 展臺全貌

結(jié)語：技術(shù)研發(fā)創(chuàng)新是根本基石

索尼中國研究院在華領(lǐng)銜的首次出展，旨在對外溝通和交流索尼在華技術(shù)研發(fā)舉措及階段性成果，進(jìn)一步貼近本土創(chuàng)意娛樂社群，攜手更多優(yōu)秀合作伙伴共同進(jìn)行新時代下新應(yīng)用場景的探索與實踐。

竹中幹雄說，多元化的業(yè)務(wù)是索尼獨特的優(yōu)勢，而技術(shù)研發(fā)創(chuàng)新是根本的基石，立足長遠(yuǎn)，索尼中國研究院關(guān)注的領(lǐng)域?qū)⒏鼮閺V泛，如可持續(xù)發(fā)展等，會進(jìn)一步開放對外交流，強化中國本土的產(chǎn)學(xué)研合作，以期更加融入和貢獻(xiàn)于中國的產(chǎn)業(yè)升級和社會發(fā)展。