全方位映像を活用した複合的没入体験によるメディア表現研究

2020 Fiscal Year Research-status Report

• Project/Area Number: 19K00243
• Research Institution: Tokyo National University of Fine Arts and Music
• Principal Investigator: 木村 稔 東京藝術大学, 大学院映像研究科, 研究員 (60376902)
• Project Period (FY): 2019-04-01 – 2022-03-31
• Keywords: メディア表現 / 全方位映像

Outline of Annual Research Achievements

本研究では、全方位映像（全天球360度映像）による新しいメディア表現技法の開発を基盤に、ライブ配信技術や空間音声技術を活用し、撮影された映像とリアルタイムの映像とを複合的に没入体験させることにより、新しいコミュニケーションの在り方の研究や全方位映像のメディア特性を活用した従来とは異なるプロセスによるメディア制作の考察などを通して、メディア表現における新たなワークフローの確立と理論の構築を目指している。2019年度に360度全方位が撮影された映像から任意の範囲を切り出し、一般的な平面映像作品として扱える全方位映像のメディア特性を活用した「編集によるカメラワーク」による表現技法の研究を中心に行い、2020年度は、さらなるメディア特性を活用すべく、360度全方位映像によるライブ配信を中心に研究を行った。新型コロナウイルス感染症の影響で多くのイベントが中止・延期となるなか、音楽公演にて全方位撮影装置を舞台中央に設置し、360度全方位映像によるライブ配信を行い、ネットワークを経由した遠隔地で観客がヘッドマウントディスプレイを用いることで舞台上にいるような没入体験から、タフブレットなどのディバイス自体を動かしながらの自由な視点による視聴、コンピュータの画面上での視点操作を行うことなどが可能であった。従来型のワークフローに対して、一度の撮影から複数の体験方法が可能である全方位映像というメディア特性の活用により、撮影時の機材や人員の削減に繋げられるとともに高度な映像表現が可能となるこの取り組みは、情報やメディアの扱い方が多様化し、さらに新型コロナウイルスの影響も踏まえ、新しいコミュニケーションの在り方が問われているなか、芸術表現の分野のみならず、他分野への応用を含め社会的にも大きな意味を持つと考える。

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

昨年度末から続く新型コロナウイルス感染症の影響で外出や移動が制限され、多くのイベントが中止・延期となり、国内外への研究調査旅行を取り止めたほか、イベントにて撮影を行い、実験、検証する機会が限られてしまったため、計画よりやや遅れが生じている。しかしながら、2019年度は、主として全方位映像のメティア特性を活用した新たなメティア表現ワークフローの研究を行い、360度全方位が撮影された映像から平面映像作品とする制作ワークフローを試み、固定されたカメラで撮影した映像があたかも舞台上を移動撮影しているかの様な表現などを実証することができた。2020年度は、360度全方位映像によるライブ配信技術の研究を中心に行い、音楽公演にて全方位撮影装置からの映像をライブ配信し、遠隔地でも全方位映像を様々なディバイスを通して観客が自由に視点を操ることが可能であった。360度全方位映像のメディア特性は、一度の撮影（記録）から複数の視聴（体験）方法があることが挙げられ、撮影後に任意の範囲を切り出す「編集によるカメラワーク」による上映、ヘッドマウントディスプレイを用いた没入体験をさせるなどの研究は進めており、その特性を活用した新たな表現に向け、外付けグラフィックプロセッサ（eGPU）などによる映像制作環境を構築しつつ、撮影された映像とリアルタイムの映像とを複合的に没入体験させながら物語性を持った全方位コンテンツの考察を深めている段階である。

Strategy for Future Research Activity

これまでの研究を踏まえ、引き続き、360度全方位映像による新しいメディア表現技法の開発を基盤に、撮影された映像とリアルタイムの映像とを複合的に没入体験させることで、現実と過去が入り交じり、これまでに体験したことのない様な時間や空間の感覚を与えられることを目指し、ライブ配信技術やアンビソニック形式の空間音声技術を活用した没入感を高める研究、システム開発とともに、物語性を持った全方位映像コンテンツの研究や新しいコミュニケーションの在り方の考察をさらに深めていき、異なる空間で起きた（起こる）出来事をリアルタイムに没入体験できる環境（システム）を構築し、展示形式で一般に公開（体験）する計画である。さらに展示記録とともに研究成果を論文にまとめ、広く一般に研究成果を周知させる予定である。また、新型コロナウイルス感染症の影響をも踏まえ、情報やメディアの扱い方も多様化しているなかで、メディア技術を柔軟に扱いながら新しいコミュニケーションのデザインを実践（=メディアデザイン）していくことが求められており、ネットワーク技術を活用した全方位映像による新しいコミュニケーションの実践を通して、小規模かつ少人数でありながら高度な表現を目指しつつ、メディア表現における新たなワークフローの確立と理論を構築するとともに、新しい発想によるメディア表現の可能性を明らかにしていくことで、社会に貢献できるよう研究を進めていく予定である。