2019 Fiscal Year Annual Research Report
Research about sensory fusion of floating images and mid-air touch stimulation
| Project/Area Number |
17K00288
|
|---|
| Research Institution | Kobe Institute of Computing / Graduate School of Information Technology |
|---|
Principal Investigator |
Markon Sandor 神戸情報大学院大学, 情報技術研究科, 教授 (30434971)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
呉 景龍 岡山大学, ヘルスシステム統合科学研究科, 教授 (30294648)
大寺 亮 神戸情報大学院大学, 情報技術研究科, 講師 (50590410)
|
|---|
| Project Period (FY) |
2017-04-01 – 2020-03-31
|
| Keywords | 空中触覚 / 空中映像 / マルチモーダル / 医療画像 |
|---|
| Outline of Annual Research Achievements |
空中映像実験装置の映像画面を起点に、利用者の指先の動きに合わせて透明版を前後に動作させる実験装置を開発した。これを用いて、空中触覚をより正確に調査できる様になった。２０１７年度-２０１８年度は空中触覚による形状認識性能を計測し、空中に提示される「物体」（すなわち、透明板が指先に触れる領域）の位置・輪郭の認知を中心に実験を行い、認知性能について基礎データを得た。
２０１９年度に更に詳細な認知性能を調べるため、空中触覚によるテキスチャー認識の提示を行う実験を設計した。空中に０度...90度...180度の範囲で傾斜する縞模様を提示し、縞模様の濃淡に合わせて触覚刺激を行う。指先で提示された模様に触れ、指を上下左右に動かし、縞模様の傾斜角を推定する。先ずは空中映像と空中触覚を同時に提示する事によって、空中触覚の感覚に慣れてもらった後、次は空中映像無しで空中触覚のみの認識を行う。
実験結果より、認識のコンフューションマトリクスのエラーはほぼ対称的であり、特に水平に近い傾斜角の時は若干右に傾いてる模様を左へ、左に傾いてる模様を右へ傾いてる様に認識する場合があった。しかし概ね、模様に傾きが正しく認識され、空中触覚からそのテキスチャーを認識できると考えられる。
本研究の応用として、複雑な情報、特に医療関連の画像情報（MRI画像等）の認識を補助するため、画像の濃淡・色等に加え、空中触覚をもう一つの情報チャネルとして利用する事を提案してる。最近の実験結果より、空中映像にテクスチャーを提示することも可能だと分かり、有効なマルチモーダルな情報伝達が期待できる。
|
