2022 Fiscal Year Research-status Report
Development of a prosthetic hand system using image recognition technology and myoelectric data processing
| Project/Area Number |
22K12204
|
|---|
| Research Institution | Toyohashi University of Technology |
|---|
Principal Investigator |
福村 直博 豊橋技術科学大学, 工学(系)研究科(研究院), 准教授 (90293753)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Keywords | 筋電義手 / 視覚-運動変換モデル / VAE / 画像認識 / 把持手形状推定 / VRロボットハンド |
|---|
| Outline of Annual Research Achievements |
研究課題である画像認識技術を取り入れた筋電義手システムのうち、画像認識を用いてロボットハンドを制御する学習モデルの検討を行なった。
対象物をコップとした時の物体の深度画像とそれを把持した時のロボットハンドの指関節角データのセットを取得し、提案している複数のAuto-Encoder(AE)を用いた視覚-運動変換モデルの学習実験を行なったところ、ハンド形状の変化がコップの直径にのみ依存する場合には、教師信号なしでコップ直径の情報が抽出でき、コップに合ったハンド形状を生成できた。一方、コップの取手を持つハンド形状もデータに加えて、直径と取手サイズの両方の情報を抽出することを試みたが、このモデル構造では難しいことがわかった。
そのため、AEの代わりにVariational Auto-Encoder(VAE)の導入を検討することとし、まず、画像データのみで検証した。深度センサから得られるRGB画像を用い、YOLACTによって求められた画像内のコップの物体領域が中心になるように深度画像を切り出し、物体中心座標での深度画像を変換、正規化して学習に用いた。このコップ画像をVAEに入力して学習した結果、CNNを用いて識別した場合と比べて、コップの大きさを多様な照明環境下でもより正確に識別できることを示した。これを踏まえ、VAEを導入した視覚-運動変換モデルの学習実験を進めている。
また、義手システム開発の効率化のため、VR義手システムを試作した。実験者の上肢運動に合わせてVR環境内でロボットハンドがコップに対して到達把持運動を行い、物体把持の成否を判定するようにした。この環境でコップを把持した時のハンド形状を取得したデータで上述の視覚-運動変換モデルの学習を行い、実ロボットハンドでの物体把持が可能であることを確認した。また、筋電信号を取り込むことも可能であることを確認した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
提案している義手システムの画像認識パートではAEを用いた視覚-運動変換モデルを、取手のついたコップをさまざまな持ち方が可能になるように、引き続き検討してきた。ハンド形状がコップのサイズのみに依存する場合にはこのモデルの有効性を示すことができたため、引き続きコップの取手を把持する持ち方を加えて、コップ直径と取手の大きさの情報を分離して表現する手法を検討してきたが、期待した成果は得られなかった。そのため、AEの代わりにVAEを導入して検討を進めたところ、これまでに良好な結果が得られてきており、研究が大きく進んだ。現在成果をまとめて論文投稿を進めている。
VR環境を用いた義手システムはほぼ予定通り進捗しており、構築したシステムを用いて取得したデータで実ロボットを制御できることも確認できた。また筋電信号を取り込めることも確認済みである。
VR義手だけでなく、市販の筋電センサ及び深度センサとサーボモータ、さらに3Dプリンタを用いて作成したロボットハンドを用いてシステム構築も並行して進めた。このシステムによって、画像認識技術を用いて実環境の対象物の識別をしたのちに筋電信号で把持形状を決定するという、本提案システムの有効性を示すことができている。
|
| Strategy for Future Research Activity |
提案システムの画像認識パートにおいては、VAEを用いた視覚-運動変換モデルの検証を進める。これまで用いてきた、３Dプリンタで作成した直径及び取手の大きさを変化させたコップを把持対象とした場合に、提案モデルによりコップの直径と取手のサイズの情報を抽出し、さらにそれに基づいて把持に適したハンド形状を決定する実験を進め、論文投稿を予定している。さらに、対象物をより一般的なワイングラスやジョッキなどの対象物に拡張し、その場合に抽出された特徴量を検証して、物体形状の特徴量が不明な場合でも把持に必要と推測される特徴量が抽出できることを示すことで、論文投稿を行う。この実験により、提案モデルがより多くの種類の対象物を扱うことができることを示すことになり、義手システムへの応用が適切であることを示すことにつながる。
また、義手システムに必要となる、触覚フィードバックの提示方法について検討する。義手ロボットの指などに設置する触覚センサによって、対象物体が把持できたタイミングで、使用者に対して対象物を持ち上げるが可能であることを認識させる必要があるため、触覚情報を使用者にフィードバックするシステムが必要になる。まず、振動センサなどを用いた触覚提示を別の身体部位に与えることを検討し、どのような刺激をどの部位に与えることが有効であるかを調べる。
さらに、全体のシステム構築を、実ロボットを用いた場合とVR環境を用いた場合の両方で並行して進め、被験者を用いてシステムの有効性を示す実験の準備を進める。
|
| Causes of Carryover |
当初購入を予定していた機械学習用のワークステーションが購入できなくなってしまったため、GPU付きのノートパソコンに変更し、それを用いてシステム構築と学習実験を兼用することにしたため。
|
