Development of new haptic-audio-visual experiences by constructing remote sound drawing methods using mixed reality
| Project/Area Number |
21K00234
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 01070:Theory of art practice-related
|
|---|
| Research Institution | Nagoya City University |
|---|
Principal Investigator |
中川 隆 名古屋市立大学, 大学院芸術工学研究科, 准教授 (60631124)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
古川 聖 東京藝術大学, 美術学部, 教授 (40323761)
大村 英史 東京理科大学, 理工学部情報科学科, 講師 (90645277)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Project Status |
Granted (Fiscal Year 2022)
|
| Budget Amount *help |
¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2023: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2022: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2021: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
|
|---|
| Keywords | Mixed Reality / 視聴触覚体験 / 遠隔コミュニケーション / メディアアート / 芸術表現 / XR |
|---|
| Outline of Research at the Start |
本研究は研究代表者らによる2018-2020年度実施の基盤研究(C)「複合現実における空間音描手法の開拓」に直接接続し、当手法を拡張・展開させるものである。具体的には前研究成果を基盤に、1)遠隔通信に特化した新手法の構成的検討、2)半導体熱電素子・筋電気刺激等を用いた空間音描に触れることを可能にするデバイスの開発、3)1, 2の作業の統合による複数人参加型遠隔空間音描手法の構築、および、4)行動認識アルゴリズムを用いた体験者の動作の定量的抽出を実施し、表現手法の実装と分析データ面の双方から新規空間音描手法の特質を明らかにする。
|
| Outline of Annual Research Achievements |
2022(令和4)年度の成果概要は以下の通りである。
【検証実験、システム更新】前年度開発を行った遠隔手法、触覚デバイス、音響生成機構を用いてシステムの更新をおこなった。更新したシステムを用いて実際に遠隔での検証実験を実施した。具体的には、遠隔で繋がった体験者同士の手が触れ会うことでノートオブジェクト（音オブジェクト）が生成されるとともに触覚フィードバックが生じるといったようなシンプルな構成をいくつか準備し、その動作確認を行った。筆者らが用いたネット環境下では、描画・音響の遅延等は気になるものではなく安定的に体験可能であった。ただし、空間における音描の密度が高まるとシステムへの負荷も高まり動作が不安定になるため、その対応について今後の制作を通して検討・改良を行っていく必要がある。【遠隔空間音描手法の策定・構築】更新したシステムを用いて遠隔空間音描手法について構成的に検討を行った。遠隔でMR体験を行う場合、体験者らはそれぞれ今自分自身が存在する実空間上にバーチャルオブジェクトが重なるかたちでそれらを共有することになる。つまり、体験者間で同じバーチャルオブジェクトを見聞きするものの、それらを見聞きするベースとなる実空間はそれぞれ異なるため、実空間とバーチャルオブジェクトが織りなす複合現実であるMR体験は体験者間で非対称となる。本研究ではこの遠隔MR体験の非対称性に着目しながら空間音描手法および体験の設計をおこなっている。【デモシステムの発表】本研究で開発・制作したデモ作品を国際会議SIGGRAPH 2022, Immersive Pvirionに投稿し採択された。レビュアーらから総じて高評価を受けての採択となった。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
2022年度予定していた「検証実験、システム更新」「遠隔空間音描手法の策定・構築」「デモシステムの発表」についてそれぞれ順調に進んでおり、次のフェーズへ進むための準備が整っている。
|
| Strategy for Future Research Activity |
本研究で開発している触覚デバイスに関して情報通信工学の専門家等のアドバイスを得ることができた。今後も適宜、触覚デバイス関係の研究者・技術者らからの助言を参考にしながら本研究目的に適ったデバイス形態や表現手法を導き出せるよう研究を進めていく。
|
Report
(2 results)
Research Products
(14 results)
