2018 Fiscal Year Research-status Report
Development of sound drawing methods using mixed reality
| Project/Area Number |
18K00210
|
|---|
| Research Institution | Nagoya City University |
|---|
Principal Investigator |
中川 隆 名古屋市立大学, 大学院芸術工学研究科, 准教授 (60631124)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
古川 聖 東京藝術大学, 美術学部, 教授 (40323761)
大村 英史 東京理科大学, 理工学部情報科学科, 助教 (90645277)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | 複合現実 / mixed reality / オーディオビジュアル / 体験型作品 / 複数人参加型作品 / spatial user interaction / multi-participant |
|---|
| Outline of Annual Research Achievements |
本研究では、複合現実（mixed reality; MR）技術を用いて空間に音を描くことを可能にする「空間音描手法」の開発を通して、その特質を明らかにすることを目的とする。具体的には以下のことを実施する。１）「MR空間に描く行為」と「他の表現における描く行為」の比較検討。２）MR空間における「音響生成」と「描く行為」との融合可能性の検討。３）1と2の作業を構成的に行いながら空間音描手法を構築。4) 開発した手法を用いて複数人参加型インスタレーション作品を制作し、展示公開。5）行動認識アルゴリズムを開発し、それを用いて空間音描体験者の動きを定量的に抽出することで、この手法によるMRの身体化について明らかにする。
平成30年度の成果概要は以下の通りである。【描画生成機構の開発】いくつかの表現手法における「描く行為」と空間音描における「描く行為」を比較検討しながら描画生成機構の開発を行った。【音響生成機構の開発】音声ファイルを予めシステムに組み込んでおき、任意のタイミング・ポジションでそれらのファイルを再生する手法と、MRデバイス上で音響合成を行い、任意のタイミング・ポジションに出力する手法についてのデモ実装を行なった。現時点では、デバイスへの負荷がかかってしまう等、後者の音色にやや難点が生じてしまうことがわかったため、前者を採用して他の作業を進めた。【空間音描手法の策定・デモシステムの構築】上記の描画生成デモと音響生成デモを組み合わせ、３点の空間音描デモシステムの実装を行なった。これらのデモシステムを内外の学会・シンポジウム（Laval Virtual Revolution 2018, ACM SUI 2018, NICOGRAPH2018）に投稿し採択され、それぞれの場で研究進展のための有意義なフィードバックを得ることができた。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
開発は順調に進んでおり、平成30年度末には平成31年度前半に予定していた作業（デモシステムの表現可能性を高めるための作業）に着手し始め、現在も順調に進行中である。具体的には、オリジナルのシェーダーやエフェクトの開発、さらに音響生成手法についての再構築を進めている。
|
| Strategy for Future Research Activity |
本研究の目的には、MRを用いた新しい表現手法の開拓のみならず、その表現システムでの体験を通した「MRの社会実装可能性」に関する思索の場の創造が含まれている。この目的を達成するために、複数台のMRデバイスを安定的に接続し、MR空間を共有できる機能が必要である。さらにMRデバイス間のみならず、その外部とのコミュニケーションの可能性について考察する必要もある。これらの点に関する検討や実装作業について、MR開発に特化した企業からの協力を得ながら進めていく。
|
| Causes of Carryover |
予定よりも研究が順調に進んだため、前倒し支払い請求を行い翌年度に予定していた実装・検証作業を進めた。その際、今年度追加して進めることができた作業のための諸経費が、支払い請求をした金額よりも少なかったため未執行の予算が生じた。この予算は、翌年度分として請求した助成金と合わせて、翌年度に実施予定であった当初計画の残り作業を進めるために使用する。
|
