2020 Fiscal Year Annual Research Report
An audio-visual software space creating a global scale sense of unity over the Internet
| Project/Area Number |
19H04091
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
江崎 浩 東京大学, 大学院情報理工学系研究科, 教授 (60311643)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
砂原 秀樹 慶應義塾大学, メディアデザイン研究科(日吉), 教授 (20206577)
塚田 学 東京大学, 大学院情報理工学系研究科, 准教授 (90724352)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | インターネット映像音声 / Software Defined Media / Linked Open Data / デジタルツイン / AR/VR |
|---|
| Outline of Annual Research Achievements |
収録・編集の課題を解決するための施策として、一画面映像／ステレオ音声へと加工される前の映像音声の素材メディアを3次元空間メタデータなどそのメディアが収録された環境を記述し管理する機構を導入する。これにより、収録環境を熟知した運営者以外ではコンテンツとしての利用が不可能であった素材メディアを、第三者クリエータへ開放する。メタデータが付属する素材メディアを利用できれば、例えばバイノーラル合成による立体音響や、音声の可視化、さらに自由な映像切り替えなど、多様な演出が可能となる。これ以外にもクリエータがこれまでにない斬新な表現を追求できる枠組みを構築した。この目的のため、素材メディア管理機構を、Linked Open Data (LOD)を活用して、オープンな共通データベースとして設計した。これまでに設計した、3次元映の収録された像音声を扱うSDM Ontologyを拡張し、複数素材メディアを再起的に編集可能なオントロジーを定義した。この成果は、Linked Open Data チャレンジ Japan 2020で発表し、最優秀賞及びオントロジー賞を受賞した。このデータセットおよび、前年度に発表したWeb360Squareのソースコードをオープン化し、SDMコンソーシアムからプレスリリースを行なった。この成果は、国際学会への投稿を準備中である。
また、配信の課題を解決するための施策として、受け身の視聴から積極的な参加体験へと転換するインタラクション体験を支援した。AR技術を用いて、会場参加者と他の遠隔参加者とのインタラクションを支援した。この成果は、IFIP-ICEC2020にて発表した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
素材メディアを3次元空間メタデータなどそのメディアが収録された環境を記述し管理する機構として、Linked Open Data (LOD)を活用して、SDM Ontologyを定義した。この成果は、Linked Open Data チャレンジ Japan 2020で発表し、最優秀賞及びオントロジー賞を受賞した。このデータセットおよび、前年度に発表したWeb360Squareのソースコードをオープン化し、SDMコンソーシアムからプレスリリースを行なった。この成果は、国際学会への投稿を準備中である。会場参加者と他の遠隔参加者とのインタラクションを支援した成果は、IFIP-ICEC2020にて発表した。
|
| Strategy for Future Research Activity |
COVID-19の状況下で、ヤマハのsyncroomなど、宅内で遠隔セッションを行う場面が増えてきた。こうした、インタラクティブなP2Pアプリケーションを快適に利用するには、従来の通信帯域を重視したネットワーク計測では測りきれない、ネットワーク指標が必要となる。簡易にネットワーク計測を行うため、ブラウザで宅内間のP2P計測を行うため、WebRTCを用いた計測を計画する。
また、これまでに開発してきた、音楽コンサートなどのデジタルツインアプリケーションを、オフィス、美術館、工場、大学など、別のユースケースに展開し、汎用的なデジタルツインプラットホームを開発する。
|
Research Products
(5 results)
