2019 Fiscal Year Research-status Report
| Project/Area Number |
19K21759
|
|---|
| Research Institution | Nagoya Institute of Technology |
|---|
Principal Investigator |
石丸 宏一 名古屋工業大学, 工学(系)研究科(研究院), 技術職員 (00534330)
|
|---|
| Project Period (FY) |
2019-06-28 – 2021-03-31
|
| Keywords | 触図 / 疑似触覚 |
|---|
| Outline of Annual Research Achievements |
本研究課題の目的は、Webカメラで映した凹凸のない図を触ったとき、指に振動を与えることであたかも凹凸のある触図を触っているかのような疑似触覚を実現することである。そこで、本年度は、１）振動により疑似的な触覚の呈示、２）学習者の指位置の認識、について研究を実施した。
１）振動による疑似的な触覚の呈示：線による簡単な図形を題材に、振動の与え方による認識精度を検証した。検証では、カメラで学習者の手を撮影し、指が線上にある時に2種類の方法で振動を与えた。(a)振動モーターを用いて触察をしている指に直接振動を与えた。(b)学習者は触察をアクリル板の上で行うものとし、振動モーターをアクリル板に取り付けてアクリル板を振動させることで指先に刺激を与えた。どちらの方法も図形を認識するのに慣れを必要とすることが判明し、継続した検討課題となった。
２）学習者の指位置の認識：指に色マーカーを貼り付けて、カメラ画像から色認識をすることで位置を認識した。この方法では、色認識が照明の影響を受けて指先の認識が不安定になることが確認された。次に、ディープラーニングを用いてスマートフォンのカメラ画像から学習者の指の位置を認識して、その位置座標を得る方法を検討した。この方法では、光の影響を受けにくく前者よりも安定した結果を得ることができた。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
本年度は、学習者に対して振動により疑似的な触覚を与える方法の検討をメインに行うことを予定しており、これには、指の位置の認識が必要であるため、色認識を用いた方法を採用して検証を行った。検証を行う中で、色認識の精度が蛍光灯の光などの周囲の環境によって不安定になることが分かり、別の方法での指の位置認識を行う課題に取り組んだ。その中で、ディープラーニングを用いた手や指の認識及び追跡を採用することで周囲の環境変化に影響を受け難くなり、安定して指先の位置座標を得ることが可能となった。
以上より、来年度に予定していた指先の位置の認識を先に進めることとなり、開発順序の調整を行った。また、指の位置の認識に使用するディープラーニングのフレームワークが対応するデバイスの環境制限により、ターゲットとしていたプラットフォームがWindows PC から iOS へと変更が必要となり、遅れを生じた。
|
| Strategy for Future Research Activity |
今後は、振動による疑似的な触覚の呈示方法の開発と評価を中心に進める予定である。2019年度はスマートフォン(iPhone)のカメラで撮影した画像から学習者の指の位置座標を取得するアプリのプロトタイプを作成した。このアプリを基に指の位置に応じて振動を発生させるアプリを作成して疑似触覚の評価を行う予定である。また、スマートフォンから振動デバイスへの振動命令の伝達方法も合わせて検証する。開発中は、触覚フィードバック技術に関する先行研究を調査しながら、触図学習に適した方法を検討する。
|
| Causes of Carryover |
プログラム開発や触図学習に使用するために購入予定であったPCについて、開発ターゲットとなるプラットフォームがiOS端末に変更となったため、次年度の購入として予算を繰り越した。
|
