2022 年度実施状況報告書

全方位映像を活用した複合的没入体験によるメディア表現研究

研究課題

研究課題/領域番号	19K00243
研究機関	東京藝術大学
研究代表者	木村稔東京藝術大学, 大学院映像研究科, 研究員 (60376902)
研究期間 (年度)	2019-04-01 – 2024-03-31
キーワード	メディア表現 / 全方位映像
研究実績の概要	本研究では、全方位映像（全天球360度映像）による新しいメディア表現技法の開発を基盤に、ライブ配信技術や空間音声技術を活用し、撮影された映像とリアルタイムの映像とを複合的に没入体験させることにより、新しいコミュニケーションの在り方を研究するとともに、全方位映像のメディア特性を活用した従来とは異なるプロセスによるメディア制作の考察を通して、メディア表現における新たなワークフローの確立と理論の構築を目指している。2019年度から2020年度にかけて、360度全方位が撮影された映像から任意の範囲を切り出し、一般的な平面映像作品として扱える全方位映像のメディア特性を活用した「編集によるカメラワーク」の研究をはじめ、新型コロナウイルス感染症の影響で多くのイベントが中止・延期となるなか、全方位映像によるライブ配信を行い、ネットワークを経由した没入体験の研究などを行った。2021年度はゲーム開発環境であるUnityに全方位映像を取り込み、撮影された映像とリアルタイムの映像とを切り替える仕掛けを組み込んだ全方位映像体験システムの開発を行った。2022年度も引き続き、全方位映像体験システムの開発を中心に、ヘッドマウントディスプレイを通して複合的に没入体験できる環境を構築しながら360度映像コンテンツの制作を行った。従来型のワークフローに対して、一度の撮影から複数の体験方法が可能である全方位映像のメディア特性を活用した新しい表現技法の研究を通して、観客に新しい経験をもたらせることを目的に、メディア表現ワークフローの改革から取り組むことが本研究の独創的な点であり、情報やメディアの扱い方が多様化し、さらに新型コロナウイルスの影響も踏まえ、新しいコミュニケーションの在り方が問われているなか、本研究は芸術表現の分野のみならず、他分野への応用を含め社会的にも大きな意味を持つと考える。
現在までの達成度 (区分)	現在までの達成度 (区分) 3: やや遅れている理由新型コロナウイルス感染症の影響で外出や移動が制限され、多くのイベントが中止・延期となり、国内外への研究調査旅行を取り止めたほか、イベントにて撮影を行い、実験、検証する機会が限られてしまったため、計画より遅れが生じてしまった。しかしながら、2019年度は全方位映像のメティア特性を活用した新たなメティア表現ワークフローの研究を行い、360度全方位が撮影された映像から平面映像作品とする制作ワークフローを試み、固定されたカメラで撮影した映像があたかも舞台上を移動撮影しているかの様な表現などを実証することができた。2020年度は、360度全方位映像によるライブ配信技術の研究を中心に行い、音楽公演にて全方位映像をライブ配信し、遠隔地でもヘッドマウントディスプレイを用いることで舞台上にいるような没入体験から、タフブレットなどのディバイス自体を動かしながらの自由な視点による視聴、コンピュータの画面上での視点操作を行うことなどが可能であった。2021年度から2022年度にかけては、ゲーム開発環境のUnityを用いた体験システムの開発を軸に、撮影された映像とリアルタイムの全方位映像とを複合的に没入体験させる研究を行っていたが、コロナ禍の影響で実験機会等が限られてしまったとともに、家族や研究協力者などの関係者がコロナウイルス感染症に罹患してしまい、研究が一時中断したこともあり、研究期間の延長申請を行うこととした。
今後の研究の推進方策	令和５年５月８日から新型コロナウイルス感染症の感染症法上の位置付けが５類感染症に引き下げられ、社会が大きく変わろうとしている。本研究においては、関係者がコロナウイルス感染症に羅漢するなど、コロナ禍の影響で研究期間を延長することになったが、引き続きこれまでの研究を踏まえ、360度全方位映像による新しいメディア表現技法の開発を基盤に、撮影された映像とリアルタイムの映像を複合的に没入体験させることで現実と過去が入り交じり、これまでに体験したことのない様な時間や空間の感覚を与えられることを目指していく。ライブ配信技術や空間音声技術を活用して没入感を高め、新しいコミュニケーションの在り方の考察をさらに深め、異なる空間で起きた(起こる)出来事をリアルタイムに没入体験できる環境(システム)を構築する計画である。また、研究成果を論文にまとめ、広く一般に研究成果を周知させる予定である。従来型のワークフローに対して、一度の撮影から複数の体験方法が可能な全方位映像というメディア特性を活用して新しい経験をもたらせ、小規模かつ少人数でありながら短期間で高度な表現を目指し、新しいコミュニケーションのデザインの実践(=メディアデザイン)を通して、新しい発想によるメディア表現の可能性を明らかにしていくことで、社会に貢献できるよう研究を進めていく予定である。
次年度使用額が生じた理由	研究協力者含めた関係者がコロナウイルス感染症に罹患してしまい、研究期間の延長申請を行うこととしたため未使用額が生じた。引き続き体験システムの開発を継続し、未使用額はその開発に携わるプログラマへの謝金などに充てる予定である。