2019 Fiscal Year Research-status Report
Prosthetic Hand System Using Image Recognition and EMG
| Project/Area Number |
19K12168
|
|---|
| Research Institution | Toyohashi University of Technology |
|---|
Principal Investigator |
福村 直博 豊橋技術科学大学, 工学(系)研究科(研究院), 准教授 (90293753)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | 義手システム / 画像処理 / 深層学習 / オートエンコーダー |
|---|
| Outline of Annual Research Achievements |
多指ハンドを制御して物体把持を行うためには、画像情報から対象物体の位置と形状の情報を別々に認識しなければならない。我々が提案している、複数の感覚情報の統合から情報抽出を行う学習モデルを用いると、対象物体の画像情報とその物体を持った時のロボットアームの姿勢情報の統合により物体の位置の情報を、同じく画像情報と物体を持った時のロボットハンドの指関節角情報の統合により物体の形状情報を別々に抽出できることが期待できる。これを検証するため、実ロボットを用いた実験環境を構築して実験を行った。まず、直径２cmと３cmの円柱を用意し、これを１cm間隔の格子状の25箇所の位置に順に置き、ロボットアームをマニュアルのコントローラで制御して円柱を把持して持ち上げ、卓上に戻す動作を行った。戻した時のロボットの関節角度をロボットの姿勢情報として取得し、その後にロボットを物体から離した時の物体の画像情報をUSBカメラによって取得した。これを各条件で５回繰り返し、合計250セットの学習データを取得した。このデータセットを用いて情報統合モデルを学習させた後に、学習データを入力して抽出した情報を確認した。まず、画像情報とアームの姿勢情報の統合により、円柱が置かれた格子状の位置を表現したニューロンが確認できた。また、画像とハンドの指関節角情報の統合により、２種類の円柱を分離して表現するニューロンが確認できた。さらに、画像情報から形状情報を抽出するネットワークにConvolutional Neural Networkを用いても同様の結果が得られた。これらの結果より、対象物体の画像情報とそれを把持するロボットの姿勢情報を提案モデルを用いて統合することにより、実環境における対象物の位置や形状に関する情報を、明示的な教師信号なしに抽出できることを確認した。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
計画時に購入を予定していたロボットハンドが想定していた実験を行うには指関節の自由度が足りないことがわかったため、別のロボットハンドを探している。そのため、ここまではすでにあるロボットハンドを用いた実験環境で進めており、予定していた様々な手形状による把持を行う実験に着手できていない。
また、実験を行っていた部屋が改修となって部屋を移動したため、実験環境を再構築して実験データを再取得する必要が生じた上に、この実験を主に担当してくれている学生が夏以降に体調を崩してしまって再実験が難しくなった。
これらの理由のために、ここまではロボットを用いた実験が十分にはできず、最初に取得した学習データによるシミュレーション実験が主になってしまったが、学習に用いるネットワークの構造については多岐に試すことができた。
|
| Strategy for Future Research Activity |
望んでいた自由度を有するロボットハンドが見つかったため現在購入を進めており、これに合わせて実験環境を再構築する予定である。実験を担当してくれる学生を増員して準備を進め、これまでの実験環境と合わせて２セットの実験環境を用いて実験を行う。従来の実験環境では主に把持運動時の筋電を測定し、異なる把持手形状を筋電によって識別することで、義手システムにおいても異なる手形状を筋電から指示できるかということと、把持運動を開始するタイミングを筋電から取得してロボットを制御する手法を検討する。新しい実験環境では指の自由度が増えるので、提案モデルを用いて同じ物体に対して複数の持ち方でロボットが把持を実現できることを目指して実験を進める予定である。学習データを効率的に集めるために、モーションキャプチャーやデータグローブを用いてロボットをマスター・スレーブで制御する準備も進めており、これらによってより研究の進捗が加速すると期待できる。
|
| Causes of Carryover |
進捗状況で述べたように、当初購入を予定していたロボットが指の自由度が十分でなかったため、購入するロボットを再検討したが、問い合わせ先からの返答がなかったり、対応が遅く、検討が進まなかった。また、実験を主に担当する学生の体調不良により、研究発表も予定通りに進まず、旅費もほとんど使用していない。そのため、今年度はほとんど予算を使うことがなかった。しかし、適したロボットが見つかったため、現在ロボットアームも含めて購入を進めている。このロボットを用いて実験環境を整備していく予定である。
|
