Research about sensory fusion of floating images and mid-air touch stimulation

2018 Fiscal Year Research-status Report

• Project/Area Number: 17K00288
• Research Institution: Kobe Institute of Computing / Graduate School of Information Technology
• Principal Investigator: Markon Sandor 神戸情報大学院大学, 情報技術研究科, 教授 (30434971)
• Co-Investigator(Kenkyū-buntansha): 呉 景龍 岡山大学, ヘルスシステム統合科学研究科, 教授 (30294648) ; 大寺 亮 神戸情報大学院大学, 情報技術研究科, 講師 (50590410)
• Project Period (FY): 2017-04-01 – 2020-03-31
• Keywords: 空中映像 / 空中触覚 / マルチモダリティ / 輪郭認識 / 医療画像

Outline of Annual Research Achievements

空中映像と空中触覚の融合を調べるための実験装置が完成した。触覚刺激を与えるための透明板を当初の予定ではリニアモーターで制御することになっていたが、リニアモーターで駆動させるのは困難だと分かって、最終的には回転式モーターとベルト駆動方式に変更した。空中触覚は視覚と独立した情報提示手段として使えることが分かり、触覚から物体の位置や形状を認識できると分かった。しかし駆動方式変更のため、２０１８年度後半で実験結果がまとまり、学会発表は２０１９年度に行うことになった。
実験１は空中映像に３種類の形状（円・正方形・長方形）を表示し、それと同じ形状を空中触覚で提示する設定で行なった。空中映像と同時に空中触覚を提示して練習した。次に視覚の提示なしに、触覚のみの提示により、位置認識や形状認識を行い、空中触覚に対する認知性能の測定を行なった。形状の認識率は提示条件により全体的に６４％～７８％となり、長方形の認識率が高く、コンフュージョンマトリクスから正方形と円形の区別が困難である事が判明した。指でなぞる触覚提示では「角」の認識が困難であることに要因があると思われる。
実験２では空中触覚を使った簡単なゲームを作成し、ゲーム内で採用された空中触覚がゲームの臨場感向上に役に立ってるのかを定量的に調査した。ゲームの概要は、画面上に横方向の複数車線の道路があり、そこに多数の自動車が走行している。その中をすり抜け、他の車を次々と追い抜きながら被験者が指先で運転してる車が高速に走行する。指が運転してる車に触れてる間は触覚刺激が与えられるが、他の車と接触し、「事故を起こしたら」触覚がなくなり、車が「あたってしまった」との感覚を与える。このゲームの評価実験がまだ進行中だが、現時点までのアンケートから、触覚刺激の効果が見られる。ただし、まだ優位な評価が得られる被験者数に達してないので、定量的な評価は今後の課題である。

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

空中触覚の認知に関する基礎実験を継続している。提示方法のチューニングを行い、また認知プロセスについて仮説を立てることを進めている。被験者の数や範囲（年齢・国籍・文化的背景等）を増加し、これまでに得られた実験結果の汎用性について知見を得た上で、データを確立させようとしている。
応用例であるゲームについて、まだ数名の被験者しかないため優位性のあるデータが得られてない。そのため、複数の被験者にゲームで実験してもらい、基礎認知実験と同様に結果をまとめる作業を進めている。
得られたデータについて、まだ十分解析できてない側面として、認知に必要とされる時間がある。傾向として分かってるのは、最終の認知制度が低い時に時間が長いだが、その定量的な相関等がまだ解明されてない。また同一の被験者の複数回の実験において、認知時間がどう変更するのかが、まだ不明となっている。これらの定量的な情報を中心に、これまでの実験を見直す事を進めている。
基礎実験で分かったことから応用の可能性について検討し、応用実験を行う。現時点まで試みたのは、簡単なゲーム（自動車走行シミュレーション）だが、被験者のコメントから、空中映像に空中触覚を加えることが臨場感につながると推測できる。
現時点での成果を「CME２０１９」国際会議（ドイツ・２０１９年９月）で発表する予定となっている。

Strategy for Future Research Activity

空中映像を用いて、複雑な医療画像データ（CT・MRI・超音波エコー等）を提示する時に、その理解を高めるため、画像情報に空中触覚のチャンネルを加え、ビジュアルな理解と触覚による理解を並行して行うことを研究する予定。２つのモダリティを使うことによって、ビジョンだけと比べて利用者の精神的な負担を軽減し、単一チャンネルのオーバーロードを防ぐことが期待される。
触覚刺激の提示方法としてこれから新たに導入したいのは、表面荒さおよび表面の凹凸と言った情報の追加である。現状では提示する触覚は「平面」と「輪郭」のみとなっており、比較的に単純な情報となっている。これに対し、表面上に指を動かすに連れて表面を前後に微小に動かし、それで表面荒さや凹凸を表現できることを試みたい。表面を指移動と連動し運動させるための制御方法を開発し、新しい刺激方法で実験できる様に実験装置を改造する予定となっている。またこの刺激方法を活用したシーンを記述する書式を設計し、空中映像のイメージと空中触覚の「イメージ」をつなぐ表現を開発する。
この段階で医療従事者との連携が必須となり、画像データによる診断の専門家に協力を得て、触覚チャンネルに適した情報の選定や提示方法について相談する予定。この時、提示するシーン内に輪郭・空洞・テクスチャー・凹凸の各種表現をどの様にして有効に使えるのか、利用者の立場となって探ってみる。
テクスチャーについて、触覚刺激の空間周波数として提示できる範囲を調べ、基礎的な認知性能も調べる。３Dプリント等で形成された物理的なサンプルを触る時の認知性能と移動する透明板で実現する仮想的な「表面」を使った時の認知性能を比較することにより、空中触覚と言った新しい情報提示方法について基礎的な知見を得ることを期待している。

Causes of Carryover

昨年度に予定していた研究活動の一部において、実験装置改造に時間がかかったために予定通りに進まず、次年度に行うことになった。具体的には（１）基礎認知実験の被験者を増加し、優位性のある結果を得ること、（２）応用例として導入したゲームを使った実験の回数を増加すること、（３）触覚刺激の新しい提示方法として表面荒さ感覚や凹凸認知の実験のための制御システムを開発し、基礎実験を行うこと。
上記を進めた上、その結果を踏まえ次年度に予定していた医療画像情報の提示実験を行い、学会発表や論文にて報告することを計画している。