• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

An audio-visual software space creating a global scale sense of unity over the Internet

Research Project

Project/Area Number 19H04091
Research Category

Grant-in-Aid for Scientific Research (B)

Allocation TypeSingle-year Grants
Section一般
Review Section Basic Section 60060:Information network-related
Research InstitutionThe University of Tokyo

Principal Investigator

Esaki Hiroshi  東京大学, 大学院情報理工学系研究科, 教授 (60311643)

Co-Investigator(Kenkyū-buntansha) 砂原 秀樹  慶應義塾大学, メディアデザイン研究科(日吉), 教授 (20206577)
塚田 学  東京大学, 大学院情報理工学系研究科, 准教授 (90724352)
Project Period (FY) 2019-04-01 – 2022-03-31
Project Status Completed (Fiscal Year 2021)
Budget Amount *help
¥17,290,000 (Direct Cost: ¥13,300,000、Indirect Cost: ¥3,990,000)
Fiscal Year 2021: ¥5,590,000 (Direct Cost: ¥4,300,000、Indirect Cost: ¥1,290,000)
Fiscal Year 2020: ¥5,460,000 (Direct Cost: ¥4,200,000、Indirect Cost: ¥1,260,000)
Fiscal Year 2019: ¥6,240,000 (Direct Cost: ¥4,800,000、Indirect Cost: ¥1,440,000)
Keywordsインターネット映像音声 / Software Defined Media / Linked Open Data / 遠隔ライブ配信 / デジタルツイン / AR/VR / リアルタイム配信 / Augment reality
Outline of Research at the Start

音楽の楽しみ方は多様化しており、ライブに参加するだけでなくインターネットを利用したサービスで遠隔配信を視聴することが一般化した。しかし、遠隔でのライブ参加体験は、1)放送局主導の画一的コンテンツを視聴する課題、2)受け身の視聴になり積極的な参加体験が得られない課題、3)再生機器に様々な制約がある課題を抱え、ライブ会場で体験できる一体感と比べると著しく低い水準である。本研究の目的は、一方向性の強い現在の大規模メディアから転換し、会場と大規模かつ分散する観客のインタラクションを支援することで、音楽ライブへの参加体験を抜本的に転換させるメディア・プラットホームを創出することである。

Outline of Final Research Achievements

To solve the issues of recording and editing, we introduced a mechanism to describe and manage the environment in which the video/audio material media is recorded, such as 3D spatial metadata, before it is processed into single-screen video/stereo audio. The material media management mechanism was designed as an open common database utilizing Linked Open Data (LOD). Next, as a measure to address delivery issues, we supported an interaction experience that transformed from a passive viewing experience to an active participation experience. Finally, to address the issue of playback, we designed a platform that abstracts equipment facility functions so that highly realistic equipment such as head-mounted displays (HMDs) and 22.2-channel sound systems, as well as future highly practical equipment, can be utilized.

Academic Significance and Societal Importance of the Research Achievements

SDM Ontologyを拡張し、複数素材メディアを再起的に編集可能なオントロジーを定義した。この成果は、Linked Open Data チャレンジ Japan 2020で発表し、最優秀賞及びオントロジー賞を受賞した。このデータセットおよび、前年度に発表したWeb360Squareのソースコードをオープン化し、SDMコンソーシアムからプレスリリースを行なった。これにより、本研究で作成したデータセットおよびソースコードを広く一般に利用することが可能になる。

Report

(4 results)
  • 2021 Annual Research Report   Final Research Report ( PDF )
  • 2020 Annual Research Report
  • 2019 Annual Research Report
  • Research Products

    (20 results)

All 2022 2021 2020 2019 Other

All Journal Article (2 results) (of which Int'l Joint Research: 1 results,  Peer Reviewed: 2 results,  Open Access: 2 results) Presentation (16 results) (of which Int'l Joint Research: 4 results) Remarks (2 results)

  • [Journal Article] Building a speech recognition system with privacy identification information based on Google Voice for social robots2022

    • Author(s)
      Lin Pei-Chun、Yankson Benjamin、Chauhan Vishal、Tsukada Manabu
    • Journal Title

      The Journal of Supercomputing

      Volume: 1 Issue: 13 Pages: 1-29

    • DOI

      10.1007/s11227-022-04487-3

    • Related Report
      2021 Annual Research Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] インタラクティブな遠隔ライブVR配信プラットフォーム2019

    • Author(s)
      粕谷貴司; 塚田学; 菰原裕; 高坂茂樹; 水野拓宏; 野村譲誉; 上田 雄太; 江崎 浩
    • Journal Title

      情報処理学会論文誌デジタルコンテンツ(DCON)

      Volume: 7 Pages: 1-14

    • NAID

      170000150659

    • Related Report
      2019 Annual Research Report
    • Peer Reviewed / Open Access
  • [Presentation] WebRTC-based measurement tool for peer-to-peer applications and preliminary findings with real users2021

    • Author(s)
      Kosuke Nakagawa, Manabu Tsukada, Keiichi Shima, Hiroshi Esaki
    • Organizer
      16th Asian Internet Engineering Conference (AINTEC)
    • Related Report
      2021 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Reinforcement Learning Based Optimal Camera Placement for Depth Observation of Indoor Scenes2021

    • Author(s)
      Yichuan Chen, Manabu Tsukada, Hiroshi Esaki
    • Organizer
      The 2021 IEEE International Conference on Networking, Sensing and Control (ICNSC)
    • Related Report
      2021 Annual Research Report
    • Int'l Joint Research
  • [Presentation] デジタルツイン基盤とその3Dデータ活用2021

    • Author(s)
      青谷和真, 川村地平, 塚田学, 落合秀也, 江崎浩
    • Organizer
      マルチメディア,分散,協調とモバイル(DICOMO2021)シンポジウム
    • Related Report
      2021 Annual Research Report
  • [Presentation] 生産管理のためのデジタルツインアプリケーション2021

    • Author(s)
      川村地平, 青谷和真, 藤橋貞光, 稗田啓介, 中島高英, 塚田学, 江崎浩
    • Organizer
      マルチメディア,分散,協調とモバイル(DICOMO2020)シンポジウム
    • Related Report
      2021 Annual Research Report
  • [Presentation] WebRTC を用いた宅内環境間 P2P ラウンドトリップタイム計測2021

    • Author(s)
      中川紘輔, 塚田学, 落合秀也, 江崎浩
    • Organizer
      マルチメディア,分散,協調とモバイル(DICOMO2021)シンポジウム
    • Related Report
      2020 Annual Research Report
  • [Presentation] 3Dデータから任意視点の画像を生成するデジタルツイン基盤とAPI設計2021

    • Author(s)
      青谷和真, 川村地平, 塚田学, 落合秀也, 江崎浩
    • Organizer
      マルチメディア,分散,協調とモバイル(DICOMO2021)シンポジウム
    • Related Report
      2020 Annual Research Report
  • [Presentation] 生産管理のためのデジタルツインアプリケーション2021

    • Author(s)
      川村地平, 青谷和真, 藤橋貞光, 稗田啓介, 中島高英, 塚田学, 江崎浩
    • Organizer
      マルチメディア,分散,協調とモバイル(DICOMO2021)シンポジウム
    • Related Report
      2020 Annual Research Report
  • [Presentation] co-Sound: An interactive medium with WebAR and spatial synchronization2020

    • Author(s)
      Kazuma Inokuchi, Manabu Tsukada, Hiroshi Esaki
    • Organizer
      The 19th IFIP International Conference on Entertainment Computing (ICEC) 2020
    • Related Report
      2020 Annual Research Report
  • [Presentation] Web360square: An Interactive Web Application for viewing 3D Audio-visual Contents2020

    • Author(s)
      Shin Kato, Tomohiro Ikeda, Mitsuaki Kawamorita, Manabu Tsukada, Hiroshi Esaki
    • Organizer
      17th Sound and Music Computing Conference (SMC)
    • Related Report
      2019 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 指向性のある音声の到達範囲を可視化するARシステム2020

    • Author(s)
      海野亮, 塚田学, 落合秀也, 江崎浩
    • Organizer
      マルチメディア,分散,協調とモバイル(DICOMO2020)シンポジウム
    • Related Report
      2019 Annual Research Report
  • [Presentation] 再起的記述を可能とする映像音声メディア・オントロジー2020

    • Author(s)
      加藤慎, 曽根卓朗, 塚田学, 江崎浩
    • Organizer
      マルチメディア,分散,協調とモバイル(DICOMO2020)シンポジウム
    • Related Report
      2019 Annual Research Report
  • [Presentation] co-Sound: Web AR を用いたインタラクティブメディア基盤の設計と実装2020

    • Author(s)
      井口和真, 塚田学, 落合秀也, 江崎浩
    • Organizer
      マルチメディア,分散,協調とモバイル(DICOMO2020)シンポジウム
    • Related Report
      2019 Annual Research Report
  • [Presentation] LiVRation: Remote VR live platform with interactive 3D audio-visual service2019

    • Author(s)
      Takashi Kasuya, Manabu Tsukada, Yu Komohara, Shigeki Takasaka, Takuhiro Mizuno, Yoshitaka Nomura, Yuta Ueda, Hiroshi Esak
    • Organizer
      IEEE Games Entertainment & Media Conference (IEEE GEM)
    • Related Report
      2019 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 立体音響を用いる小型サラウンドスピーカー環境の研究2019

    • Author(s)
      庄子琢郎, 塚田学, 加藤朗, 砂原秀樹
    • Organizer
      マルチメディア,分散,協調とモバイル(DICOMO2019)シンポジウム
    • Related Report
      2019 Annual Research Report
  • [Presentation] Web360Square: インタラクティブな3D視聴体験を提供するWebアプリケーション2019

    • Author(s)
      加藤慎, 池田友洋, 川守田光昭, 塚田学, 江崎浩
    • Organizer
      デジタルコンテンツクリエーション研究会(CVIM,CGVI合同開催)
    • Related Report
      2019 Annual Research Report
  • [Presentation] インタラクティブ操作とAR可視化を実現する立体視聴プラットフォーム2019

    • Author(s)
      粕谷貴司, 塚田学, 安藤亮介, 白浜妥知, 庄子琢郎, 曽根卓朗, 江崎浩
    • Organizer
      デジタルコンテンツクリエーション研究会(CVIM,CGVI合同開催)
    • Related Report
      2019 Annual Research Report
  • [Remarks] Software Defined Media Ontology (SDMO)

    • URL

      https://tlab.hongo.wide.ad.jp/sdmo/

    • Related Report
      2020 Annual Research Report
  • [Remarks] Software Defined Media Consortium

    • URL

      https://sdm.wide.ad.jp/index.ja.html

    • Related Report
      2019 Annual Research Report

URL: 

Published: 2019-04-18   Modified: 2023-01-30  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi