2020 Fiscal Year Research-status Report
Prosthetic Hand System Using Image Recognition and EMG
| Project/Area Number |
19K12168
|
|---|
| Research Institution | Toyohashi University of Technology |
|---|
Principal Investigator |
福村 直博 豊橋技術科学大学, 工学(系)研究科(研究院), 准教授 (90293753)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | 筋電義手 / 画像認識 / ニューラルネットワーク |
|---|
| Outline of Annual Research Achievements |
提案している画像認識技術を取り入れた筋電義手システムのうち、主に画像認識を用いてロボットハンドを制御する学習モデルについて、検討を行った。
これまで検討してきたオートエンコーダを使った視覚-運動変換モデルにおいて、視覚情報から特徴認識を行うオートエンコーダにおけるエンコーダ部分にConvolutional Neural Networkを用いた場合の性能評価を行なった。異なる大きさの円柱を、ハンドを備えたロボットアームで到達把持した実験データを用い、学習実験を行なったところ、これまでの多層神経回路モデルを用いた場合と同様に円柱の直径情報と円柱の位置情報を教師信号なしに抽出することができた。
一方、筋電義手システムの場合は使用者の腕によって手先位置は制御できること、そしてこれまで用いていたロボットハンドの自由度が低かったことから、新たに多自由度のロボットハンドとデータグローブを準備し、人の腕に取り付けたこのロボットハンドを、データグローブをつけた指の動作によってマスタースレーブ制御を行って学習用のデータを取得する実験環境を構築した。対象物はサイズの異なるコップとし、コップの向きを変えた画像データと、コップの上部を持つ把持パターンと、コップの側面を持つ把持パターンの２つの把持パターンで把持した時のロボットハンドの指関節角データを取得した。このデータセットを用い、上述のオートエンコーダを用いた学習モデルでコップの画像データとそれを持った時のロボットハンドデータを統合する学習を行なった。その結果、この実験でも特徴量としてコップのサイズ情報をオートエンコーダの中間層に抽出することができ、かつ学習後のモデルを用い、画像データからコップのサイズに合ったコップの上部を持つ手形状パターン、または側面を持つ手形状パターンを、手形状に関する評価関数を切り替えることで、それぞれ計算できることを示した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
多自由度のロボットハンドの購入が、本来の研究計画より遅れたことに加え、緊急事態宣言に伴う大学での研究活動の抑制により、ロボットハンドを用いた実験環境の構築が遅れ気味ではあったが、その分、学習モデルなどの検討時間を取ることができ、実験を担当してくれる学生の理解度が高まると同時にシミュレーション環境を整備することができたため、今後の研究の進捗が期待できる。また、この実験環境で取得した学習データを用いた画像処理に関するモデルの検証実験は良好な結果を得られており、この実験を進めることにより論文投稿が可能になると考えている。並行して、画像による対象物の形状やサイズの認識精度をあげるために深度センサを用いた実験環境も構築して実験を進めており、適切な前処理と既存の画像認識用の深層学習モデルを用いて良好な認識結果が得られつつある。また筋電についても検討を開始しており、比較的簡易な実験環境と認識アルゴリズムでも、想定している画像認識と併用した条件においては、十分な精度が得られることを確認できており、提案している画像認識を取り入れた筋電義手システムのプロトタイプの検証が可能なレベルに達していると考えている。
|
| Strategy for Future Research Activity |
画像データの特徴抽出を行うエンコード部分に、物体認識のために用いられてきた実績のある深層学習モデルを用い、同時に深度センサを用いることで認識精度の向上を目指す。また、これまでは画像から手形状を計算するための必要な特徴量が既知である条件（例えばコップのサイズによって手形状が変わる条件）で行ってきたが、コップの取手を持つ場合と側面を持つ場合など、必要となる特徴量が複数あり、適切に選択しなければならない条件などで、自動的に学習を切り替える手法を検討し、より多様な対象物を扱えるモデルを目指す。また、生活空間で使用することを想定し、カメラ画像内に複数の物体がある場合の把持する対象物体の推定のためにゴーグルタイプの視線計測装置を用い、視線位置によって把持する対象物体の推定、さらには対象物上の把持位置の推定のアルゴリズムを検討し、画像認識の精度向上につながるかを検証する。
また、筋電を組み合わせ、①画像認識により対象物体の形状とサイズの認識、②その物体の形状に合う、把持するための把持パターン候補の推定、③筋電信号から使用者の意図を推定し、候補の中から把持パターンを特定、④対象物体のサイズに合うような手指関節角を計算、という手順を実施できる環境を構築して、システムの検証を行う。このとき、今回購入したロボットハンドでは手に装着するには重いため、より軽量で腕に装着可能なロボットハンドを、３Dプリンタなどを用いて作製して実験環境を整えるか、あるいは同様に腕に装着したロボットハンドを想定したシミュレータ環境をHead Mount Displayを用いたVR環境内に構築するなどし、想定している画像認識と組み合わせた筋電義手システムのプロトタイプを構築する。そしてこの実験環境でシステムを実際に被験者に使ってもらい、画像認識を組み合わせた時の筋電義手の制御性能の比較などの実験を実施する。
|
| Causes of Carryover |
COVID-19の影響で、出席を予定していた国際学会や国内学会がオンライン開催になってしまい、旅費の使用額が0になってしまったため。
|
