2018 Fiscal Year Research-status Report
振動と視覚を組み合わせた動作教示システムの開発 -三味線の学習支援への応用-
| Project/Area Number |
18K18163
|
|---|
| Research Institution | Muroran Institute of Technology |
|---|
Principal Investigator |
柴田 傑 室蘭工業大学, 大学院工学研究科, 助教 (90649550)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | 身体動作 / 学習支援 / バーチャルリアリティ / 振動刺激 |
|---|
| Outline of Annual Research Achievements |
ＶＲコンテンツやコンピュータを用いたトレーニングシステムにおいて，力触覚を用いた情報提示手法が研究されている．力触覚による情報提示は，奥行きを含む動作のような視覚提示が難しい動作を教示できる可能性がある．本研究では，軽量な装置でユーザの動きを阻害せず提示可能な振動に着目する．三味線演奏の学習支援への応用想定し，視覚と振動を用いた動作の教示システムを構築する．三味線の演奏は，弦を押さえる左腕と指および弦をはじく右腕の動きで構成される．特に，右腕の撥さばきは奥行きを含む動きである．そこで，平成３０年度は，右腕の動きの教示を想定した実験を進め(1) 腕の位置に応じて振動を提示するシステムのプロトタイプの構築，(2) 電気刺激による動作の誘導実験に取り組んだ．
(1) 本システムでは，まず，提示する振動のタイミングと強さを制御する機能，ネットワークを通じて振動のパターンを指定する機能を小型コンピュータに実装した．さらに，既存の磁気式MoCap計測システムを応用し，モーションキャプチャ(MoCap)データに応じて，小型コンピュータに振動のパターンを送信する機能を実装した．これによって，ユーザの腕の位置に応じた振動を提示するプロトタイプを構築した．
(2) 振動と関連性の高い刺激の提示デバイスとして，腕に電気刺激を与えることによって，指先に疑似的な力覚を提示するデバイスに着目した．本デバイスと磁気式MoCapを用いて腕の位置に応じた電気刺激を提示することによって，指ではなく腕の動きを教示するシステムを開発した．開発したシステムを用いて腕の直線の動きを教示する実験を実施した．本実験では，実験者が直線上の位置を指定し，視覚によらず腕を誘導できることを示した．本成果は，情報処理北海道シンポジウム2018において発表した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初の計画では，(A) 小型コンピュータを用いた振動の制御および単純な動作の教示についての予備的な実験，(B) 動きを阻害しない装着方法，(C) 関連デバイスの調査を実施する予定であった．
(A) では，小型コンピュータと振動子を接続し，指定したタイミングと強さで振動させる制御ソフトウェア(振動制御ソフトウェア)を実装した．本ソフトウェアはネットワークを介して，制御コマンドによって制御できる．さらに，既存のMoCap計測システムに制御コマンドを送信する機能を実装し，MoCapセンサの位置に応じて振動子を制御できるようになった．当初計画していた身体動作の教示実験は実施できなかったものの，予備的な動作確認は完了している．また，(C) で検討する計画であった関連デバイスにおいて，腕の動きを教示する実験を進めており，一定の知見は得られている．
(B) では，振動子を装着する治具作成については，やや遅れているものの，振動子の補強および装着のための試作を進めている．また，MoCapでの計測で従来用いられていたテープによる振動子の固定についても検討している．
(C) では，電気刺激を提示することによって指に疑似的な力覚を提示する市販のデバイスに着目し，実験的な調査を進めた．MoCapと組み合わせ，腕の位置に応じて電気刺激を提示することによって，腕の動きを教示するシステムの試作を試みた．当初は(A) の振動制御ソフトウェアおよび計測システムで実施する計画だった単純な身体動作の教示実験について，試作システムを用いて実施し，直線上の動きを教示できることを示した．また，本デバイスは，比較的動作を阻害せずに装着可能であり，(B) の治具作成においても一定の知見が得られた．
以上のことから，当初計画において次年度に実施する予定の実験に必要な環境はおおよそ整備されており，計画は概ね順調といえる．
|
| Strategy for Future Research Activity |
当初研究計画では，次年度は(イ) あらかじめ記録されたMoCapデータから動作教示に必要なパラメータを抽出する，(ロ) 視覚と振動を組み合わせた場合の影響について検討する計画であった．今後は，平成30年度の成果で整備した実験環境および得られた知見をもとに，概ね計画通り研究を推進する．
(イ) ではあらかじめ記録されたデータだけでなく，リアルタイムに計測されるユーザのMoCapデータ，楽譜や教則本など既存の教材の情報も積極的に活用する．平成30年度の実験において電気刺激を用いて直線上の動作を教示できることを示した．この実験を発展させ，振動を用いて奥行きや高さの変化を含む動作の教示できるか確認する．合わせて，三味線演奏に必要な動作の教示について検討する．特に，三味線の右腕の動きにとって重要で，視覚での教示が難しい，奥行きを含む動きについての実験を試みる．
(ロ) では，(イ) の実験で得られる振動や電気刺激と視覚を組み合わせた場合の影響を検討する．一般に動作の教示においては，視覚による影響が大きい事が予想される．しかしながら，人間の視覚は網膜に結ばれる二次元の画像によって知覚されるため，奥行きを含む動作を視覚によって教示するのは難しいと考えられる．そこで，(イ)の実験と合わせ，視覚での教示が難しい動作について，視覚と振動や電気刺激と組み合わせた教示方法について実験する．
平成30年度の調査から電気刺激の提示デバイスによって，腕の動作が教示できる可能性が示されている．そこで，より精度の高い電気刺激提示デバイスを導入し，振動提示と合わせて検討する．また，本デバイスは，腕の筋肉に与える電気刺激によって指先に疑似的な力覚を提示する装置であるので，三味線演奏の左腕および指の動きの教示に活用できる可能性がある．一部の研究計画を修正し，指の動作の教示手法についても検討を加える．
|
| Causes of Carryover |
当初計画では，計測実験に必要なモーションキャプチャを購入し，スムーズな実験を進める計画であったが，既に所有のモーションキャプチャで一定の実験可能であることがわかった．そこで，関連デバイスの調査に伴い「電気刺激の提示装置」の購入することとした．これにともなって，次年度使用額が発生した．また，振動提示システムの開発も順調であり，プロトタイプ作成におけるコストも削減できた．
次年度では，振動と合わせて電気刺激による動作の教示についても引き続き実験する．また，研究計画の一部を拡大し，指の動きの教示手法についても検討を進める．そこで，これらの追加の実験における記録媒体，装置の装着用のジェルなどの消耗品の購入および学会等での発表に予算を使用する計画である．
|
