• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

画像認識技術と筋電データ処理を併用した義手システムの開発

研究課題

研究課題/領域番号 22K12204
研究種目

基盤研究(C)

配分区分基金
応募区分一般
審査区分 小区分61050:知能ロボティクス関連
研究機関豊橋技術科学大学

研究代表者

福村 直博  豊橋技術科学大学, 工学(系)研究科(研究院), 准教授 (90293753)

研究期間 (年度) 2022-04-01 – 2025-03-31
研究課題ステータス 交付 (2023年度)
配分額 *注記
4,030千円 (直接経費: 3,100千円、間接経費: 930千円)
2024年度: 1,040千円 (直接経費: 800千円、間接経費: 240千円)
2023年度: 1,300千円 (直接経費: 1,000千円、間接経費: 300千円)
2022年度: 1,690千円 (直接経費: 1,300千円、間接経費: 390千円)
キーワード筋電義手 / 視覚ー運動変換モデル / VAE / 画像認識 / 把持手形状推定 / VRロボットハンド / 触覚フィードバック / 視覚-運動変換モデル / 深層学習 / 把持運動
研究開始時の研究の概要

事故などにより手指を失った患者のために,筋電信号と画像認識を併用した使いやすく高機能な義手システムの実現を目指している.この義手システムは,まず頭部や視線の向きの情報を使い,机の上などにある複数の物体からユーザーが把持しようとしている操作物体を選択し,それを撮像したカメラ画像から操作物体の種類やサイズを認識する.その後,ユーザーが物体に手を伸ばす間の筋電信号を基にその物体に合った把持形状を選択し,さらにサイズにも合った手指関節角を計算して把持を実現する.本研究ではこのシステムの基礎要素技術を確立し,食事などの情景を想定したシステムを構築して,提案システムの有効性を示すことを目指す.

研究実績の概要

前年に引き続き、研究課題である画像認識技術と筋電データ処理を併用した義手システムのうち、画像認識を用いてロボットハンドを制御する学習モデルの検討を行なった。提案している視覚-運動変換モデルに使われているAuto-Encoder(AE)の代わりにVariational Auto-Encoder(VAE)を導入して学習実験を行った。対象物をコップとした時の深度画像と、そのコップの取手を持つ場合、側面を持つ場合、上部を持つ場合の3通りの把持タイプで把持した時のロボットハンドの指関節角データのセットを取得し、画像VAEとハンドVAEそれぞれの一部の潜在変数の確率分布が一致するようにモデルで学習を行った。その結果、画像VAEおよびハンドVAEの潜在変数にコップの直径の情報と、取手の長さの情報が抽出でき、その特徴量の表現の汎化性が高いことを示した。さらに学習後のモデルにコップの画像を入力し、それぞれの把持タイプに対して設定した評価関数を最適にするように計算すると、指定した把持タイプでかつ、コップの直径や取手長さに合わせた適切な指関節角を計算でき、ロボットハンドで把持できることを実験で示した。
また、義手用のロボットハンドの指先の触覚情報を前腕部に振動刺激によってフィードバックする機構を試作し、ロボットハンドで把持した物体の質量の偏りを識別する実験を行った。その結果、振動刺激を段階的に変化させた方が識別しやすいことを示したが、学習が十分でないことが示唆され、より効率的な学習方法を検討する必要があることがわかった。
また、3Dプリンタと小型のサーボモーターにより自作したロボットハンド、筋電センサや深度カメラなどを加えた義手システムの試作を進め、提案システムの有効性を検証する実験を進めている。同時にVR空間内での義手システムの構築を行い、学習用の筋電信号を効率よく取得できることを確認した。

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

研究課題である義手システムの画像認識パートでは、これまでは特徴量としてコップの直径にのみ依存する、コップの側面や上部を持つ把持タイプだけを扱うことができていたが、提案している視覚-運動変換モデルにVAEを導入することで、取手を持つ把持タイプを加え、取手の長さを特徴量として抽出できた上に、取手を持つ把持タイプの把持姿勢も計算できるようになった。この成果は学術論文として採択された。
VR環境を用いた義手システムはほぼ予定通り進んでおり、まず、学習用のハンドデータや筋電信号の取得に使えることを確認できた。
実ロボットを用いたシステムを構築し、提案手法の有効性を検証するため、深度画像と筋電を取得して使用者の意図と物体の形状に合わせた手姿勢で対象物を把持する実験を進めており、この結果に関する論文投稿を準備している。
また、 今年度より触覚フィードバックシステムの試作も行い、検証実験も開始できている。

今後の研究の推進方策

まず、提案システムの要素技術として、引き続きVAEを導入した視覚―運動変換モデルに関する検討を進める。特に、より多くの種類の対象物を扱えるように拡張する。現在は画像VAEとハンドVAEそれぞれの拘束する潜在変数のペアを事前に定めているが、適応的にペアを作れるような仕組みを導入して、学習の安定化とより柔軟な特徴抽出が可能になるように検討する。その手法を拡張して、複数の種類の対象物を一つのモデルで扱えるかを検討する。現在は物体の種類ごとに異なるモデルを用意してそれぞれ別に学習する構造を想定しているが、学習の安定性や潜在変数の表現能力などを比較して、より妥当なモデルの構造を検討する。
筋電信号による把持タイプの識別率の向上を検討する。対象物に手を伸ばす到達運動中の筋電信号を使っているため、筋電信号中に到達運動に由来する筋電信号と、把持姿勢生成のための筋電信号が重畳することによると考えられる。そのため、前腕部に取り付けたジャイロセンサや、加速度センサの値を用いて筋電信号を到達運動に由来する成分と把持姿勢形成のための運動の成分に分けてから把持タイプを識別する手法を検討する。
触覚フィードバックについて、効果的な刺激方法や、学習方法などを検討して、システムへの導入を目指す。
これらの実験は実際のロボットハンドを用いたシステムと、作成したVRのシステムも活用して実験を進める。
同時に、現在使用している自作のロボットハンドがまだやや重たいため、より小型で軽量なサーボモータを用いて、軽量なロボットハンドの作成を進める。

報告書

(2件)
  • 2023 実施状況報告書
  • 2022 実施状況報告書
  • 研究成果

    (8件)

すべて 2024 2023 2022

すべて 雑誌論文 (1件) (うち査読あり 1件) 学会発表 (7件) (うち国際学会 2件)

  • [雑誌論文] VAEを用いた視覚-運動変換モデルによる多指ロボットハンドでのコップの把持運動制御2024

    • 著者名/発表者名
      松田 基、片山 哲、福村 直博
    • 雑誌名

      電子情報通信学会論文誌D 情報・システム

      巻: J107-D 号: 2 ページ: 67-76

    • DOI

      10.14923/transinfj.2023JDP7011

    • ISSN
      1880-4535, 1881-0225
    • 年月日
      2024-02-01
    • 関連する報告書
      2023 実施状況報告書
    • 査読あり
  • [学会発表] ロボットハンド義手のための指先圧のフィードバックシステムによる把持物体の質量の偏りの識別実験2024

    • 著者名/発表者名
      河原大智、福村直博
    • 学会等名
      電子情報通信学会MBE研究会
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] VRハンドを用いて取得した手形状による視覚運動変換モデルの学習と実ロボットハンドでの検証2023

    • 著者名/発表者名
      下黒沢理久、松田基、福村直博
    • 学会等名
      第33回日本神経回路学会全国大会
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] 視覚運動変換モデルによるワイングラスを把持するための物体形状の特徴抽出と多指ハンド姿勢予測2023

    • 著者名/発表者名
      松田基、福村直博
    • 学会等名
      第33回日本神経回路学会全国大会
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] 画像認識を併用した筋電義手システムの把持動作識別精度の検証2023

    • 著者名/発表者名
      荒木雄斗,松田 基,福村直博
    • 学会等名
      電子情報通信学会NC研究会
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] 深度画像を用いた精密なロボットハンド制御のための把持対象物の特徴抽出2023

    • 著者名/発表者名
      片山 哲,松田 基,福村直博
    • 学会等名
      電子情報通信学会NC研究会
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] Evaluation of Generalization Performance of Grasping Control with Robot Hand Using Visuomotor Integration Model2022

    • 著者名/発表者名
      M. Matsuda, S. Katayama, M. Ohashi and N. Fukumura
    • 学会等名
      Neuro2022
    • 関連する報告書
      2022 実施状況報告書
    • 国際学会
  • [学会発表] Grasp Control of a Multi-fingered Robot Hand for Cups of Different Sizes using a Visuomotor Integration Model2022

    • 著者名/発表者名
      M. Matsuda, S, Katayama and N. Fukumura
    • 学会等名
      2022 Joint 12th International Conference on Soft Computing and Intelligent Systems and 23rd International Symposium on Advanced Intelligent Systems
    • 関連する報告書
      2022 実施状況報告書
    • 国際学会

URL: 

公開日: 2022-04-19   更新日: 2024-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi