An audio-visual software space creating a global scale sense of unity over the Internet

2021 Fiscal Year Final Research Report

• Project/Area Number: 19H04091
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Single-year Grants
• Section: 一般
• Review Section: Basic Section 60060:Information network-related
• Research Institution: The University of Tokyo
• Principal Investigator: Esaki Hiroshi 東京大学, 大学院情報理工学系研究科, 教授 (60311643)
• Co-Investigator(Kenkyū-buntansha): 砂原 秀樹 慶應義塾大学, メディアデザイン研究科(日吉), 教授 (20206577) ; 塚田 学 東京大学, 大学院情報理工学系研究科, 准教授 (90724352)
• Project Period (FY): 2019-04-01 – 2022-03-31
• Keywords: インターネット映像音声 / Software Defined Media / Linked Open Data / 遠隔ライブ配信 / デジタルツイン

Outline of Final Research Achievements

To solve the issues of recording and editing, we introduced a mechanism to describe and manage the environment in which the video/audio material media is recorded, such as 3D spatial metadata, before it is processed into single-screen video/stereo audio. The material media management mechanism was designed as an open common database utilizing Linked Open Data (LOD). Next, as a measure to address delivery issues, we supported an interaction experience that transformed from a passive viewing experience to an active participation experience. Finally, to address the issue of playback, we designed a platform that abstracts equipment facility functions so that highly realistic equipment such as head-mounted displays (HMDs) and 22.2-channel sound systems, as well as future highly practical equipment, can be utilized.

Free Research Field

コンピュータネットワーク

Academic Significance and Societal Importance of the Research Achievements

SDM Ontologyを拡張し、複数素材メディアを再起的に編集可能なオントロジーを定義した。この成果は、Linked Open Data チャレンジ Japan 2020で発表し、最優秀賞及びオントロジー賞を受賞した。このデータセットおよび、前年度に発表したWeb360Squareのソースコードをオープン化し、SDMコンソーシアムからプレスリリースを行なった。これにより、本研究で作成したデータセットおよびソースコードを広く一般に利用することが可能になる。