2019 Fiscal Year Research-status Report
sEMGを用いた物体への把持・負荷力推定による視触覚変形提示システムの実現
| Project/Area Number |
19K20315
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
伴 祐樹 東京大学, 大学院新領域創成科学研究科, 助教 (20789391)
|
|---|
| Project Period (FY) |
2019-04-01 – 2021-03-31
|
| Keywords | Pseudo-Haptics / 把持力推定 / sEMG / Virtual Reality |
|---|
| Outline of Annual Research Achievements |
本研究では，把持物体に力を加えた際の前腕部sEMGの変化に着目し，物体に対する掴み・引っ張 り・曲げ・ねじり等の種類の把持操作中に発生する力の方向と大きさを推定する学習モデルを構築し，簡易なデバイス構成で物体変形感を提示可能な視触覚変形提示システムを実現することを目指している．計画初年度に当たる2019年度では，単一把持姿勢，把持物体形状下での把持物体への力方向，大きさ推定手法を構築するとともに，それを用いたPseudo-hapticsによる物体変形提示システムの構築と錯覚効果向上手法の検討に取り組んだ．
モデル構築にむけた学習データ収集のため，円筒形の把持物体に六軸力センサと圧力センサを内蔵し，把持物体への剪断方向，押下方向の力を計測するとともに，筋電計によりユーザの前腕部sEMGを同時に計測できるシステムを構築した．その後，本システムにて収集したデータより，時系列情報の学習に適しているLSTMと畳み込み能力をもつCNNを組み合わせたモデルによって，物体への把持・負荷力とその際の前腕部sEMGの関係を学習させ，筋電計のみから物体への負荷力の方向・大きさとその際の把持力を推定するシステムを実装した．3種類の把持方向それぞれにおいて力方向・大きさ推定モデルを構築し，被験者実験により精度を検証したところ，力方向については90%以上，大きさについては70%以上の精度で推定が可能なことを確かめた．
加えて，本推定手法を用いて，物体-手間にかかる押下・剪断方向の推定値に応じてバーチャル物体やバーチャルハンドを変形または姿勢操作する視覚フィードバックを提示することで，実際には変形しない物体を把持しているにもかかわらずバーチャル物体を変形操作している感覚を提示する手法を構築した．被験者実験を通じて，本手法により六軸方向の変形動作について，バーチャルな変形操作感を提示できることを確かめた．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初の計画通り，初年度は個人内の多様な掴み方に対応可能な物体にかかる力方向・大きさ推定手法の確立に取り組み，目標精度にて推定が可能なことを確かめた．本点について研究は概ね順調に進展していると言える．ただし当初計画にあった，物体形状の違いに対応した力方向・大きさ推定モデルの構築には取り組めておらず，こちらは今後の推進方策における課題である．
一方，sEMGによる力推定を用いたPseudo-hapticsによる物体変形提示システムの構築については，計画に先んじて取り組んでおり，円筒形物体の変形感提示において，実際に把持物体は変形していないにも関わらずバーチャル物体を変形させている感覚を提示できることを確かめた．本成果は計画の最終目標であるPseudo-hapticsによる物体変形インタラクションの実現に大きく寄与するものであり，今後の研究計画も順調に進められることが予想される．
|
| Strategy for Future Research Activity |
今後はまず，昨年度取り組むことができなかった，物体形状の違いに対応した力方向・大きさ推定モデルの構築を進める．現状，薄い板形状等，6軸力センサを内臓することが難しい形状に対してのモデル構築が難航しているが，曲げセンサを複数組み合わせることにより，負荷力を計測できるシステムを構築する予定である．
加えて，多様な把持姿勢・把持物体形状に対応できるように，把持姿勢等を識別し，昨年度構築した単一条件下での学習モデルのうち，適したものを選択的に使用して推定を行う手法を構築する．具体的には，VRシステムで使用するHMD前面に取り付けたdepthカメラにより把持している画像を取得し，どの単 一モデルを使用するかを把持姿勢のボーン情報を用いて識別する．条件の識別後，その条件に適した単一モデルを用いて把持物体への力入力の方向・大きさを推定する．構築
したシステムを用いて，把持姿勢等を制限しない条件下で力推定がどの程度の精度でできるか検証し，用意すべき単一モデルの最適な条件数・種類を割り出す．
加えて，本システムを昨年度構築したPseudo-hapticsによる物体変形提示システムに組み込み，多様な把持姿勢・把持物体形状においてバーチャルな変形感を提示できるようなシステムを実現する．
|
| Causes of Carryover |
当初，物体への押下方向の力を推定するにあたり，グローブ型圧力センサの導入を検討していたが，本デバイスをレンタルしシステムの仮構築を行ったところ，手のひら，指先等，各部位にかかる押下方向の力それぞれを入力データを使用してしまうと負荷力の学習が進まなくなってしまうことが明らかになり，各部位にかかる力を高解像度で計測できるグローブ型圧力センサは性能過多であることが判明した．そのため物体への押下方向の力は，物体に圧力センサを貼付し，面にかかる力の平均値を学習データに用いることとした．一方，モデルの学習にあたっては申請者の所有する計算機では性能が十分でなく学習に時間がかかりすぎるため，新たに深層学習用高性能計算機（DeepLearingBOX，GDEP社相当）を購入し，モデル学習の高速化により研究のさらなる推進を図る．
|
Research Products
(5 results)
