2021 Fiscal Year Annual Research Report

Realizing a High Presence Stereo Vibration Display that Localizes External World

Publicly Offered Research

Project Area	Analysis and synthesis of deep SHITSUKAN information in the real world
Project/Area Number	21H05795
Research Institution	Tohoku University
Principal Investigator	昆陽雅司東北大学, 情報科学研究科, 准教授 (20400301)
Project Period (FY)	2021-09-10 – 2023-03-31
Keywords	触覚ディスプレイ / バーチャルリアリティ / 振動源定位 / 高臨場感提示
Outline of Annual Research Achievements	立体音響の触覚版である立体振動ディスプレイを実現し，外界で振動を発生する振動源あるいは音源の存在感・迫真性を格段に向上させることを目的とする．具体的には，身体上だけでなく，外界に存在する任意位置の振動源を定位させる立体ディスプレイ技術，および，単純な正弦波のような振動波形ではなく，聴覚域も含む任意の高周波振動を無音で体感させる振動変調技術の実現し，立体音響および視覚刺激との統合による定位性の知覚変化，対象への注意誘導および迫真性向上について検証する．本年度は，立体振動の基盤技術として，知覚インテンシティの配分に基づく外界および身体上の振動源の体感提示法を確立した．聴覚帯域の音源から，ヒトが知覚可能な知覚インテンシティを実時間で算出し，複数の振動子に配分するアルゴリズムを開発した．提案手法により，身体外に振動源を定位できることを実証するために，足裏に4つの振動を提示する床面振動装置を開発した．身体外・2次元に配置された外界の振動源の定位能力の被験者実験を行い，外界の振動源の方位，距離，移動経路の識別が可能であることを確認した．また，VR環境において，前腕に装着した4つの振動子と掌に把持した振動子の組み合わせにより，身体上から身体外にシームレスに振動源が移動する身体放出感の体感の生成し，放出方向の弁別能力と，音源を振動源として映像と合わせた主観的な体感の質について評価を行い，体感の迫真性が向上することを確認した．
Current Status of Research Progress	Current Status of Research Progress 1: Research has progressed more than it was originally planned. Reason 本年度は，立体振動の基盤技術として，知覚インテンシティの配分に基づく外界および身体上の振動源の体感提示法を確立した．聴覚帯域の音源から，ヒトが知覚可能な知覚インテンシティを実時間で算出し，複数の振動子に配分するアルゴリズムを開発し，C++，C#，Pythonなど複数のプログラム言語で利用できるライブラリを開発することができた．10 ms程度の遅延でオンライン処理できており，ゲームエンジンと組み合わせてVR環境を構築することが可能であり，提案技術を広く普及させる準備が整ったといえる．これは，当初の計画よりも早いペースで進捗しているといえる．また，定位性能に関しても，被験者に特別な訓練をすることなく，自然に体感できることが確認された．当初計画していた2次元配置された振動子だけでなく，前腕に装着した3次元配置でも有効であることが確認され，提案手法の汎用性が確認できた．これは期待以上の成果である．
Strategy for Future Research Activity	1)立体振動ディスプレイの基盤確立・昨年に引き続き，外界の振動源の定位(身体外・2次元配置)提案手法により，身体外にPSが定位できることを実証する．また，床面振動装置の機構を改良し，振動特性と体感を向上させる．・振動子を3次元配置することにより，3次元空間で振動源が定位できるか検証する．床面振動装置に加えて，シートの座面に振動装置を配置し，高さ方向の振動定位を実装し，空中に浮かぶ振動源が定位できるか検証する．また，前腕に振動子を配置したVR体験など，構成のバリエーションを検討する． (2)立体振動の聴覚・視覚統合の効果検証・昨年に引き続き，立体振動と立体音響の相互作用立体振動と立体音響とのマルチモーダル知覚が，PSの定位に及ぼす相互作用を検証する．開発する床面振動装置によって定位されるPSと，頭部伝達関数によってバイノーラル再生する立体音響によって定位される位置の精度の比較や，感覚の優位性，相互作用などを検証する．・立体振動による方位情報，あるいは，振動の体感によって想起されるシーンが，視覚情報の選択および反応速度に及ぼす影響を調査する．また，臨場感・迫真性についてアンケート調査および生理信号計測を行うことにより，立体振動がリアリティに及ぼす効果を実証する．また，視線誘導の成否と迫真性の向上の関係についても検証する．