2019 Fiscal Year Research-status Report
振動と視覚を組み合わせた動作教示システムの開発 -三味線の学習支援への応用-
| Project/Area Number |
18K18163
|
|---|
| Research Institution | Ibaraki University |
|---|
Principal Investigator |
柴田 傑 茨城大学, 理工学研究科(工学野), 助教 (90649550)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | 身体動作 / 学習支援 / バーチャルリアリティ / 振動刺激 |
|---|
| Outline of Annual Research Achievements |
当初計画では，2018年度に開発した振動を提示するシステムを改良し，三味線の学習支援を想定した動きを提示するシステムを開発する計画であった．これに対し，2019年度は，空間中に目的点を指定し，画面上に視覚的に目的点を表示すると同時に，腕に装着した振動子が目的点の距離と方向に応じて振動するシステムを開発した．開発システムを用いた予備的な実験を通して，視覚のみを用いて到達点を示す場合は，目的点付近で試行錯誤的に位置を探索する傾向があるのに対し，視覚と振動を組み合わせると効果的に目的点に到達できる傾向があることがわかった．本成果は，第24回日本バーチャルリアリティ学会全国大会において発表した．
三味線の撥さばきに近い状況として，一定のリズムで机を打つ動きを繰り返す動作について，振り上げる腕の高さを視覚と振動を用いて提示するシステムを開発し，予備的な実験を実施した．振り上げの高さを視覚のみで提示した場合，動作を繰り返すにつれて振り上げた腕の高さの誤差がばらつくのに対し，視覚と振動を組み合わせると誤差は徐々に収束する効果が期待できることがわかった．本成果は，情報処理北海道シンポジウム2019において発表した．
2019年度は，当初計画にない所属機関の異動があり，新たな実験環境の整備が必要となり，慣性式のモーションキャプチャを導入し，計測できるようにした．また，過去の研究において開発した視覚を用いた三味線の学習支援システムを改良および本研究の成果との連携について検討を進めている．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初計画では，2018年度に開発した振動提示装置を，三味線の学習支援システムへ応用する予定であった．まず，2018年度の課題であった，利用者が振動子を装着するための治具を改良に取り組んだ．この取り組みによって，三つの振動子を配置した治具を腕の周り四つ装着し，動きを阻害せずに腕に十二個の振動子を装着することが可能となった．
システムの開発では，空間中に腕を動かす際の目的点を指定し，視覚と振動刺激を用いて，腕を目的点に誘導するようなシステムを実装した．予備的な実験を通して，視覚のみを用いて到達点を示す場合は目的点の付近まではスムーズに移動できるものの，目的点付近で試行錯誤的に位置を探索する傾向があるのに対し，視覚と振動を組み合わせると効果的に目的点に到達できる傾向があることを示した．
三味線の撥さばきに近い状況として，一定のリズムで机を打つ動きを繰り返す動作について，振り上げる腕の高さを視覚と振動を用いて提示するシステムを開発し，予備的な実験を実施した．実験では，視覚のみでは腕の高さの誤差がばらつくのに対し，視覚と振動を組み合わせると誤差は徐々に収束する効果が期待できることを示した．また，過去の研究において開発した視覚を用いた三味線の学習支援システムの活用し，本研究の成果を応用する方法も検討を進めた
当初研究計画にはない所属機関の異動があり，新たな研究環境の整備が必要となった．そこで，慣性式モーションキャプチャシステムを導入した．また，2018年度に導入した電気刺激を提示する装置について，実験できる環境の整備を進めている．また，2018年度までに整備した研究環境についても，引き続き実験が継続できるよう，連携を強めている．
以上のことから，概ね順調に進展している．
|
| Strategy for Future Research Activity |
概ね当初計画に従って，2019年度に開発した動作の誘導システムを用いた評価実験を進める計画である．すでに予備的な実験は実施しており，まずは予備的な実験によって得られたデータについて十分な解析と考察を進める．考察によって得られた知見に基づいて，開発システムの機能および実験計画を修正する．
本研究で開発している振動子およびその治具は小型のものであり，実験の際に断線等の破損が予想される．予備実験の結果を踏まえ耐久性の向上，配線の変更，交換の簡易化など，必要に応じて改良を試みる．これによって，効率的に実験を進める予定である．
2019年度の予備実験では，空間中の目的点に誘導する実験と一定の高さで机を打つ実験を個別に実施した．2020年度は，これらの実験を組み合わせ，空間中に指定した二つの目的点を往復する運動の実験を計画している．二つの目的点は，三味線の演奏における右手の撥の動きを想定して設定する．この実験によって，視覚と振動による情報の提示が三味線の撥さばきの学習支援に活用できるかどうか検討する計画である．
本研究成果の開発済の三味線学習支援システムとの連携および，電気刺激を用いた情報提示の手法についても引き続き検討および実験を続ける．これらの手法は，右腕の撥さばきに加えて，左指の運指も支援するシステムに展開できる可能性がある．そのため，これらの研究を通し，当初計画を発展させた応用について検討できると考えられる．
ただし，本研究の実験は，被験者に演奏を依頼するものであるので，新型コロナウィルスの感染拡大の状況を踏まえて慎重に計画を進める．
|
| Causes of Carryover |
当初計画にない所属機関の異動があり，一部研究環境の整備が必要となった．従来の実験環境に加え，新たな所属機関で効率的に研究が継続できるように，持ち運びが容易な「慣性式モーションキャプチャ」が必要となった．また，異動までに整備していた実験環境と新たな実験環境の連携のため，一部の実験，出張の見直しが必要となった．そこで，一部の物品，謝金を調整し，次年度使用額が発生した．
次年度では，実験実施のための消耗品および，実験に伴う移動等に予算を使用する計画である．
|
