2021 Fiscal Year Research-status Report
Prosthetic Hand System Using Image Recognition and EMG
| Project/Area Number |
19K12168
|
|---|
| Research Institution | Toyohashi University of Technology |
|---|
Principal Investigator |
福村 直博 豊橋技術科学大学, 工学(系)研究科(研究院), 准教授 (90293753)
|
|---|
| Project Period (FY) |
2019-04-01 – 2023-03-31
|
| Keywords | 筋電義手 / 画像認識 / オートエンコーダ / CNN |
|---|
| Outline of Annual Research Achievements |
提案している画像認識技術を取り入れた筋電義手システムのうち、画像認識を用いてロボットハンドを制御する学習モデルについて、主に検討を行った。
新たに導入したロボットハンドを人の腕に取り付け、その手に装着したデータグローブを用いてハンドを制御するマスタースレーブ制御によって物体を持った時のロボットハンドの指関節角情報を計測し、同時にRGB画像に加えて深度画像が撮像できるデバイスによって画像データを取得する実験環境を構築した。この環境において、コップの底面の直径と取手の長さが異なるコップを対象とし、物体のRGB画像と深度画像、及びそのコップを横から持った場合と上から持ったときのロボットハンドの指関節角情報を取得し、学習実験に用いた。
まず、物体把持のためには立体形状に関する情報が重要であるため、深度画像が有効であると考えたが、深度画像は深度が正確に取得できない部分が多く生じるため、RGB画像で得られたエッジ情報によって作成された物体領域で深度センサ情報をマスキングし、物体内部の正確なデータが取得できていない空間を補間することで、より正確な深度画像を作成した。
この深度画像とロボットハンドの関節角情報を、これまで検討してきたオートエンコーダを使った視覚-運動変換モデルに適用した。深度画像から特徴認識を行うオートエンコーダにおけるエンコーダ部分に既存の学習済みのConvolutional Neural NetworkモデルであるResNet50を導入して学習実験を行い、性能評価を行なった。その結果、これまでの多層神経回路モデルを用いた場合と同様にコップの直径情報を教師信号なしに抽出することができ、さらに学習が早く進むことを確認した。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
緊急事態宣言に伴う大学での研究活動の抑制などにより、全体に作業時間が取れなかったことと、学習実験に用いていたワークステーションが故障し、一ヶ月程度実験ができなかった時期があった。また、ここまでは扱っていた手形状はコップの直径のみのパラメータで手形状が決定する、コップを上から持つ場合と横から持つ場合のみを扱ってきた。これに取手をもつ持ち方を加え、コップ直径と取手の大きさを抽出する学習実験を行っているが、この学習が十分に収束するモデルとパラメータをこれまで見つけることができず、時間がかかっており、進捗状況が遅れ気味になっている。この他に、生活空間で使用することを想定し、カメラ画像内に複数の物体がある場合の把持する対象物体の推定のためにゴーグルタイプの視線計測装置を用い、視線位置によって把持する対象物体の推定するアルゴリズムを検討する予定であったが、実験環境の構築に時間がかかっており、まだ十分な成果が得られていない。
|
| Strategy for Future Research Activity |
上述した、コップの側面と上面を持つ場合に加えて、コップの取手をもつ持ち方を実現するための学習実験を継続する。このように必要となる特徴量が複数あり、適切に選択しなければならない条件でも学習できることは、より多様な対象物を扱えるようにモデルを拡張する上では必要な性能であり、この内容での論文投稿を目指す。また、３Dプリンタと小型のモータを用いて軽量のロボットハンドを設計し、筋電センサ、画像センセと組み合わせて、提案システムのプロトタイプを作成する。このシステムを用いて、運動開始前に画像認識により物体を識別し、筋電センサで判別すべき手形状を、その物体を把持するために適した手形状に絞り込むことで、簡便な認識手法でも十分な識別率が得られる提案システムの利点を示す実験を行う。さらに、これまではカメラと対象物体であるコップの位置が固定である条件でデータ取得実験を行ってきたが、深度センサを用いることで物体の立体形状が得られることを活かして、システムで想定しているようにカメラを被験者の頭部につける場合、などのカメラ位置が固定されていない条件でのモデルの学習を検討する。この際には、画像から物体検出し、認識するモデルとして提案されているYOLACTなどを用いて、RGB画像から物体をセグメンテーションした結果により深度画像にマスキング処理を行い、位置が変わることへの対応に加えて深度画像のノイズ除去を行い、特徴量抽出の精度の検証を行う。そしてこの実験環境でシステムを実際に被験者に使ってもらい、画像認識を組み合わせた時の筋電義手の制御性能の比較などの実験を実施する。また、利用者の操作性を検証するために、このシステムをHead Mount Displayを用いたMR空間でも実現したいと考えており、その準備を進める。
|
| Causes of Carryover |
研究の遅れにより論文投稿、学会発表などが滞ったことと、感染症の影響による旅費の使用がなかったため。
2022年度は論文投稿費と学会発表のための旅費に加えて、義手システムの制作費に当てる予定である。
|
