2022 Fiscal Year Annual Research Report
Prosthetic Hand System Using Image Recognition and EMG
| Project/Area Number |
19K12168
|
|---|
| Research Institution | Toyohashi University of Technology |
|---|
Principal Investigator |
福村 直博 豊橋技術科学大学, 工学(系)研究科(研究院), 准教授 (90293753)
|
|---|
| Project Period (FY) |
2019-04-01 – 2023-03-31
|
| Keywords | 筋電義手 / ニューラルネットワーク / オートエンコーダ / 画像認識 / 視覚-運動変換モデル / 把持手形状推定 |
|---|
| Outline of Annual Research Achievements |
研究テーマである画像認識技術を取り入れた筋電義手システムのうち、画像認識を用いてロボットハンドを制御する学習モデルの検討を引き続き行なった。
さまざまな大きさのコップの深度画像データとそれをロボットハンドで把持した時のロボットハンドの指関節角データを取得し、我々が提案している複数のAuto-Encoder(AE)を用いた視覚-運動変換モデルにより学習実験を行なった。コップ直径のみが把持形状に影響する条件での実験では、CNNを導入したAEの中間層において、コップ形状に対して非常に線形性が高い表現が得られ、かつ学習に使っていない大きさのコップなどの画像データをテストデータとして入力したところ、高い汎化性能を示した。また視覚からそのコップを把持するのに適したハンド形状を計算することが可能であることも確認した。一方、コップの取手を持つ持ち方もデータに加えて、コップ直径と取手サイズの両方の情報を抽出することを試みたが、このモデル構造では難しく、さらなる検討が必要であることがわかった。
一方、画像認識と筋電信号処理を組み合わせた義手システムの試作も進め、頭部にカメラを、上腕に筋電センサを取り付け、それぞれの信号をノートPCに取り込むシステムを構築した。このシステムにより、提案している画像認識と筋電信号処理を併用した場合の有効性を調査した。対象物をコップ、ボトル、文庫本、ハサミの４種類で、それらを把持するための9種類の手形状を識別する実験を行った。筋電信号のみで９つの手形状候補から選ぶ場合には識別率が最大であった被験者で57%であったのに対し、対象物体の画像データからYOLACTによって把持運動の開始前に物体を識別し、次にその物体に合った手形状候補の中から筋電信号によって被験者が意図した手形状を選ぶ手法では、被験者によっては最大99％の認識率になり、提案システムの有効性を示すことができた。
|
