全方位映像を活用した複合的没入体験によるメディア表現研究

2019 Fiscal Year Research-status Report

• Project/Area Number: 19K00243
• Research Institution: Tokyo National University of Fine Arts and Music
• Principal Investigator: 木村 稔 東京藝術大学, 大学院映像研究科, 大学院専門研究員 (60376902)
• Project Period (FY): 2019-04-01 – 2022-03-31
• Keywords: メディア表現 / 全方位映像

Outline of Annual Research Achievements

本研究では全方位映像（全天球360度映像）による新しいメディア表現技法の開発を基盤に、ライブ配信技術や空間音声技術を活用し、撮影された映像とリアルタイムの映像とを複合的に没入体験させることによる新しいコミュニケーションの在り方の研究や全方位映像のメディア特性を活用した従来とは異なるプロセスによるメディア制作の考察などを通して、メディア表現における新たなワークフローの確立と理論の構築を目指している。
2019年度は、360度全方位が撮影された映像から任意の範囲を切り出し、一般的な平面映像作品として扱える全方位映像のメディア特性を活用した「編集によるカメラワーク」による表現技法の研究を中心に行った。音楽公演にて、1台の全方位撮影装置を舞台に設置して撮影を行い、撮影後に平面映像作品とする制作ワークフローを試みた。撮影された全方位映像データから編集時に矩形の切り出し範囲を動かすことで、固定されていたカメラで撮影した映像が、あたかも舞台上を移動撮影しているかの様な表現や舞台から観客の様子をパニングするなどの表現が可能であった。一般的なカメラによる撮影方法にて舞台上で移動撮影を行うには、撮影者や撮影機材の移動が上演の妨げになる場合があるが、全方位撮影技法を用いることで、機材移動による上演の妨げを防げるとともに編集時に視点を自由に動かせるため、複数の移動パターンを試せるなど、表現の自由度を高めることが可能であった。全方位映像のメディア特性の活用により、機材や人員の削減に繋げられ、小規模かつ少人数でありながら高度な映像表現が可能となるこの取り組みは、情報やメディアの扱い方が多様化してきているなかで、芸術表現の分野のみならず、他分野への応用を含め社会的にも大きな意味を持つと考える。

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

2019年度の計画は、主として全方位映像のメディア特性を活用した新たなメディア表現ワークフローの研究であり、ライブ配信に対応した高精細8Kで収録可能な全方位撮影装置やアンビソニックス方式の空間音声に対応した録音装置などを導入し全方位収録環境の基盤を整備した。全方位映像は、一度の撮影（記録）から、複数の視聴（体験）方法があることが挙げられ、ヘッドマウントディスプレイを用いて映像に包まれているような没入体験をさせることだけでなく、撮影後に高精細な全方位データから任意の範囲を切り出し一般的な平面映像作品として上映（編集によるカメラワーク）させることも可能である。その表現技法の研究を中心に新たなメディア制作ワークフローの基礎を構築するため、音楽公演の撮影や編集などの実践を通して、概ね順調に研究は進んでいたが、新型コロナウイルス感染症の影響で、３月に予定していた撮影が中止となり、実験、検証する機会が減ってしまった。今後もイベント等の開催が難しく、人が集まらない状況での撮影等を検討する必要がでてきているが、全方位映像表現の研究自体は概ね進んでおり、また外出自粛中だからこそ、新しいコミュニケーションの在り方が求められており、ネットワーク技術を活用した全方位映像によるライブ配信などの研究を進めていくことで挽回できると考えている。

Strategy for Future Research Activity

2019年度の研究を踏まえ、2020年度は引き続きメディア表現ワークフローの研究とともに、撮影された映像とリアルタイムの映像とを複合的に没入体験させることで現実と過去が入り交じり、これまでに体験したことのない様な時間や空間の感覚を与えられることを目指している。体験装置であるヘッドマウントディスプレイの研究、外付けグラフィックプロセッサ（eGPU）による全方位映像制作環境の構築とともに、8Kの高精細全方位映像とアンビソニック形式の空間音声を完全球状サラウンドサウンドで組み込み、鑑賞者の方位に応じて音場を回転させて没入感を高める計画である。特に新型コロナウイルス感染症の影響で、外出自粛が続く中、ネットワーク技術を活用した全方位映像による新しいコミュニケーションの実践を通して、社会に貢献できるよう研究を進めていく予定である。最終年度には、異なる空間で起きた（起こる）出来事をリアルタイムに没入体験できる環境（システム）を構築し、展示形式で発表する計画である。さらに展示記録とともに研究成果を論文にまとめ、広く一般に研究成果を周知させることに務める予定である。従来型のワークフローに対して、一度の撮影から複数の体験方法が可能な全方位映像というメディア特性を活用して新しい経験をもたらせ、小規模かつ少人数でありながら短期間で高度な表現を目指した新しいコミュニケーションのデザインの実践を通して、新しい発想によるメディア表現の可能性を明らかにしていく計画である。

Causes of Carryover

新型コロナウイルス感染症の影響で、2019年度の3月に撮影予定であったイベントなどが中止となり、一部計画を変更し、これまでの撮影データを中心に研究を行ったため、未使用額が生じた。
このため、現在の社会状況を鑑みながら撮影方法などを検討し、全方位撮影による撮影は次年度以降に行い、未使用額はその経費に充てることとしたい。