Application of cross-modal weak-haptic illusion to VR interface

2018 Fiscal Year Research-status Report

• Project/Area Number: 17K00278
• Research Institution: Waseda University
• Principal Investigator: 盛川 浩志 早稲田大学, 理工学術院, 客員主任研究員(研究院客員准教授) (90386673)
• Project Period (FY): 2017-04-01 – 2020-03-31
• Keywords: クロスモーダル / VR / AR / インタフェース

Outline of Annual Research Achievements

平成30年度の研究では，研究代表者の所属変更にともなう実験実施環境の構築と，クロスモーダル刺激の呈示に必要となる身体表現および身体を用いたインタフェースの実装について取り組んだ．具体的には，モーションキャプチャシステムの実装とHMDを中心とする映像呈示系を連携して制御する実験系の構築を目標とした．
平成29年度の研究においては，ビデオシースルー方式による身体と仮想物体との空間座標系統合とそのキャリブレーションによる使用感についての評価を中心としたが，従来のARマーカーを用いる方式では，身体表現の自由度の面において制限が多く，クロスモーダル刺激の表現も限られたものとなることが懸念された．そこで，身体表現においても仮想空間上でCGによる表現を行えるシステムを構築することでその解決を図った．
これまでのクロスモーダル刺激の誘発において，ジェスチャ入力インタフェースを使用した操作入力系を構築したことがあったが，その際に利用した赤外線カメラ方式の手指動作入力デバイスでは，満足な精度での身体動作の取得や反映が困難であった．そこで，センサ装着型の手指動作入力デバイスを導入し，高精度でのジェスチャ入力を可能とするシステムの構築を行った．
このシステムによって，実際の身体による仮想インタフェースを操作することを可能とすると同時に，実際の身体と仮想の身体との空間的なずれを意図的に表現することで，仮想物体操作の抵抗感や反力感を錯覚によって生起させる刺激の構築を目指した．引き続き，本システムを用いた際のインタフェース操作に関する心理物理的な評価を行っていく予定である．

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

平成30年度で構築したシステムについて，当初より技術的に応用の難易度が高いことが予想されていた．そのため，本年度の活動として，システム開発に多くの時間を費やして取り組む必要があった．一方で，近年のハードウェア，ソフトウェアの発展によって，これら技術的な課題が解決できた面も多大にあり，クロスモーダル刺激の表現について自由度を大きく向上できたといえる．
実験的検討については，クロスモーダル表現の実装方法や錯覚の生気方法について，トライアンドエラー型の検討を繰り返している．本研究では，インタフェースの操作において，微小な触覚を生起させる錯覚によって，その操作感や効率の向上といった効果を目指しているが，そのための表現については多くの試行錯誤が必要である．システム構築と並行してこれらの表現手法の考案に取り組んできたが，仮想空間における身体表現の高度化にともない，実験系として検討可能な段階に移行できた．
実験的な検討及び評価については本年度も引き続き行っていくが，前述の通り，研究代表者の所属変更によって研究体制をより拡充させることが期待できたため，迅速な研究推進を目指していく．

Strategy for Future Research Activity

平成30年度におけるシステム構築ならびに実験刺激の検討によって，具体的なインタフェース応用の実装が可能となった．本年度において速やかに評価実験に着手するとともに，早期の成果公開についても取り組んでいく．また，社会還元の面からも，具体的な産業応用についても積極的に取り組んでいきたい．特にVR，AR産業は近年その規模を大きくしていることから，早期の産業応用が重要であると考える．
また，現在VRを対象としたインタフェースの開発を行っているが，並行してARに対する応用可能性も視野に入れて検討を行っている．両者は非常に近接した技術，研究領域であるが，その特性の違いによって，本研究で対象としているクロスモーダル表現の適用可能性も異なってくる．多様性ある知見を収集するのためにも発展性の高いクロスモーダル表現の検討を進めていきたい．

Causes of Carryover

平成30年度の研究活動では，システム構築が主となり，実験的検討については本年度で引き続き取り組んでいく．システム構築に係る物品購入については，コンテンツ開発環境にもちいるコンピュータ，HMD等の映像呈示環境，触覚フィードバックなどの部材などが主となったが，近年VR分野の開発機材は安価で高性能のものが市場に登場していることから，物品費を低く抑えることができた．
また，実験の評価系として生体信号計測などの客観指標の導入も検討しており，本年度の支出となる．さらに，実験に係る経費が計上されることが予想されたことから，人件費および謝金，学会発表による旅費などを，本年度では支出の中心とした計画としたい．