2019 Fiscal Year Annual Research Report
An audio-visual software space creating a global scale sense of unity over the Internet
| Project/Area Number |
19H04091
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
江崎 浩 東京大学, 大学院情報理工学系研究科, 教授 (60311643)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
砂原 秀樹 慶應義塾大学, メディアデザイン研究科(日吉), 教授 (20206577)
塚田 学 東京大学, 大学院情報理工学系研究科, 准教授 (90724352)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | インターネット映像音声 / Software Defined Media / Linked Open Data / 遠隔ライブ配信 / Augment reality |
|---|
| Outline of Annual Research Achievements |
遠隔参加者は、ライブビューイングなどの観衆と、自宅などで1人または少数で楽しむ参加者があり、一緒に楽しみたい相手も、大規模な群衆だったり親族や友人だったり、と多岐にわたる。高速のインターネットが普及した現代においては、遠隔でライブ体験を共有し、一体感を得ることが現実味を帯びてきた。本研究の目的は、こうした課題を解決するインターネットを通じた地球規模の一体感を作り出すメディア・プラットホームを創出することである。
再生の課題への対処のため、ヘッドマウントディスプレイ（HMD）や22.2ch音響システムなどの高臨場感機器と、今後登場する高臨場感機器をも活用できるよう、機器設備機能を抽象化したプラットホームを設計した。観客参加機構は、これまでに構築したSDM試作システムを応用することで実現した。また、HMDを利用したインタラクティブな遠隔ライブVR配信プラットフォームは、情報処理学会論文誌デジタルコンテンツ（DCON）で発表した。さらに、本プラットホームを利用した、アプリケーションの一例としてWEB技術を利用したものを開発した。これにより、例えばタブレットや、スマートフォンを使って手軽に上記のような遠隔ライブが楽しめる環境を作ることが可能となった。この開発物はInterop 2019に展示し、来場者のアンケートにより主観評価を行い、有効性を確認した（Sound and Music Computing Conference (SMC)2020で発表）。
そのほか、2018年に定義した、音楽イベントで収録する３次元映像音声データを記述するためのSDM Ontologyを拡張し、編集に関するメタデータを記述できるようにする提案を行った。再起的な記述を可能とする拡張を定義したとことにより、1次メディアデータを合成・編集し、n次データとして記述できるようになった（DICOMO2020で発表）。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
上記のDCONジャーナルで発表したインタラクティブな遠隔ライブVR配信プラットフォーム、国際学会のSMC2020で発表する、インタラクティブな3D視聴体験を提供するWebアプリケーション、及び、DICOMO2020発表予定の、再起的記述を可能とする映像音声メディア・オントロジーは、本研究の目的に合致した成果である。このほか、Augment reality (AR)技術を使い、立体音響に合わせて、視覚オブジェクトを追従させるプロトタイプを構築し、Interop 2019に出展した。こちらも来場者のアンケートにより主観評価を行い、有効性を確認した。また、Web ARによるインタラクティブな視聴メディア及び空間同期を国際学会に投稿を準備している。
|
| Strategy for Future Research Activity |
音楽イベントの収録データを記述するメタデータとしてSDM Ontologyを開発してきたが、今後もSDMアプリケーションの要求に適応して開発を続ける。また、会場と収録イベント側の空間解釈サービスに関して、一連の2次元画像を利用してシーンや物体の3次元構造を再構築する技術である、Structure from Motion (SfM)を活用して、イベント会場の構造を得ることを計画している。また、新型iPad Proには、LiDARが搭載されており、3Dモデルとの親和性が向上したため、SDMアプリケーションに取り入れることを検討する。
|
