2023 Fiscal Year Research-status Report

Development of a prosthetic hand system using image recognition technology and myoelectric data processing

Research Project

Project/Area Number	22K12204
Research Institution	Toyohashi University of Technology
Principal Investigator	福村直博豊橋技術科学大学, 工学(系)研究科(研究院), 准教授 (90293753)
Project Period (FY)	2022-04-01 – 2025-03-31
Keywords	筋電義手 / 視覚ー運動変換モデル / VAE / 画像認識 / 把持手形状推定 / VRロボットハンド / 触覚フィードバック
Outline of Annual Research Achievements	前年に引き続き、研究課題である画像認識技術と筋電データ処理を併用した義手システムのうち、画像認識を用いてロボットハンドを制御する学習モデルの検討を行なった。提案している視覚-運動変換モデルに使われているAuto-Encoder(AE)の代わりにVariational Auto-Encoder(VAE)を導入して学習実験を行った。対象物をコップとした時の深度画像と、そのコップの取手を持つ場合、側面を持つ場合、上部を持つ場合の３通りの把持タイプで把持した時のロボットハンドの指関節角データのセットを取得し、画像VAEとハンドVAEそれぞれの一部の潜在変数の確率分布が一致するようにモデルで学習を行った。その結果、画像VAEおよびハンドVAEの潜在変数にコップの直径の情報と、取手の長さの情報が抽出でき、その特徴量の表現の汎化性が高いことを示した。さらに学習後のモデルにコップの画像を入力し、それぞれの把持タイプに対して設定した評価関数を最適にするように計算すると、指定した把持タイプでかつ、コップの直径や取手長さに合わせた適切な指関節角を計算でき、ロボットハンドで把持できることを実験で示した。また、義手用のロボットハンドの指先の触覚情報を前腕部に振動刺激によってフィードバックする機構を試作し、ロボットハンドで把持した物体の質量の偏りを識別する実験を行った。その結果、振動刺激を段階的に変化させた方が識別しやすいことを示したが、学習が十分でないことが示唆され、より効率的な学習方法を検討する必要があることがわかった。また、３Dプリンタと小型のサーボモーターにより自作したロボットハンド、筋電センサや深度カメラなどを加えた義手システムの試作を進め、提案システムの有効性を検証する実験を進めている。同時にVR空間内での義手システムの構築を行い、学習用の筋電信号を効率よく取得できることを確認した。
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason 研究課題である義手システムの画像認識パートでは、これまでは特徴量としてコップの直径にのみ依存する、コップの側面や上部を持つ把持タイプだけを扱うことができていたが、提案している視覚-運動変換モデルにVAEを導入することで、取手を持つ把持タイプを加え、取手の長さを特徴量として抽出できた上に、取手を持つ把持タイプの把持姿勢も計算できるようになった。この成果は学術論文として採択された。 VR環境を用いた義手システムはほぼ予定通り進んでおり、まず、学習用のハンドデータや筋電信号の取得に使えることを確認できた。実ロボットを用いたシステムを構築し、提案手法の有効性を検証するため、深度画像と筋電を取得して使用者の意図と物体の形状に合わせた手姿勢で対象物を把持する実験を進めており、この結果に関する論文投稿を準備している。また、今年度より触覚フィードバックシステムの試作も行い、検証実験も開始できている。
Strategy for Future Research Activity	まず、提案システムの要素技術として、引き続きVAEを導入した視覚―運動変換モデルに関する検討を進める。特に、より多くの種類の対象物を扱えるように拡張する。現在は画像VAEとハンドVAEそれぞれの拘束する潜在変数のペアを事前に定めているが、適応的にペアを作れるような仕組みを導入して、学習の安定化とより柔軟な特徴抽出が可能になるように検討する。その手法を拡張して、複数の種類の対象物を一つのモデルで扱えるかを検討する。現在は物体の種類ごとに異なるモデルを用意してそれぞれ別に学習する構造を想定しているが、学習の安定性や潜在変数の表現能力などを比較して、より妥当なモデルの構造を検討する。筋電信号による把持タイプの識別率の向上を検討する。対象物に手を伸ばす到達運動中の筋電信号を使っているため、筋電信号中に到達運動に由来する筋電信号と、把持姿勢生成のための筋電信号が重畳することによると考えられる。そのため、前腕部に取り付けたジャイロセンサや、加速度センサの値を用いて筋電信号を到達運動に由来する成分と把持姿勢形成のための運動の成分に分けてから把持タイプを識別する手法を検討する。触覚フィードバックについて、効果的な刺激方法や、学習方法などを検討して、システムへの導入を目指す。これらの実験は実際のロボットハンドを用いたシステムと、作成したVRのシステムも活用して実験を進める。同時に、現在使用している自作のロボットハンドがまだやや重たいため、より小型で軽量なサーボモータを用いて、軽量なロボットハンドの作成を進める。
Causes of Carryover	初年度に予定していたワークステーションを購入せずにノートPCに変更したことによって余った予算が繰り越されているため。軽量のロボットハンド作成のためのサーボモータや、それを使うための機構部品に使う予定である