• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

画像認識と筋電信号を用いた感覚統合義手システム

研究課題

研究課題/領域番号 19K12168
研究種目

基盤研究(C)

配分区分基金
応募区分一般
審査区分 小区分61050:知能ロボティクス関連
研究機関豊橋技術科学大学

研究代表者

福村 直博  豊橋技術科学大学, 工学(系)研究科(研究院), 准教授 (90293753)

研究期間 (年度) 2019-04-01 – 2023-03-31
研究課題ステータス 完了 (2022年度)
配分額 *注記
4,290千円 (直接経費: 3,300千円、間接経費: 990千円)
2021年度: 910千円 (直接経費: 700千円、間接経費: 210千円)
2020年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円)
2019年度: 1,950千円 (直接経費: 1,500千円、間接経費: 450千円)
キーワード筋電義手 / 画像認識 / 視覚‐運動変換モデル / 把持手形状決定 / オートエンコーダ / ニューラルネットワーク / 視覚-運動変換モデル / 把持手形状推定 / CNN / 義手システム / 画像処理 / 深層学習 / オートエンコーダー / 異種感覚情報統合 / 視覚ー運動変換
研究開始時の研究の概要

申請者が提案している、対象物に関する感覚情報と運動情報を統合して運動に必要な情報を抽出し、視覚-運動変換を行うモデルを実ロボットに適用して、人のような巧みな対象物操作ができる自律的なロボットハンドの開発をめざす。そのために、CNNなどを用いた学習モデルの検討や、実ロボットでの適用において問題になる、効率的な学習データの収集方法を検討する。さらにこのシステムを義手に応用し、装着した人の高次の意図を筋電信号から読み取り、提案モデルを用いた画像処理に基づく視覚-運動変換から得られる情報を使って詳細な制御を行う、感覚統合義手システムの構築を目指す。

研究成果の概要

事故などにより手指など上肢の一部を失ってしまった患者のために、自分の意図通りに動く義手が求められている。以前より研究が進められている筋電義手は、筋電信号が微弱であることなどから複雑な制御が難しいが、AI技術を用いた画像認識に基づくロボットハンド制御を併用することで、精密な制御ができる義手が期待できる。本研究ではこのシステムの実現のために、深層学習モデルを用いた視覚-運動変換モデルを実ロボットハンドによる実験で検証し、コップの画像からその直径を認識し、そのコップの大きさに合った把持手形状を計算できることを示した。さらに画像と筋電信号を併用した義手システムの試作を行い、その有効性を検証した。

研究成果の学術的意義や社会的意義

本研究で目指している義手システムはユーザーの意図を筋電から読み取り、画像認識技術と併用することで、ロボットハンドを精密に制御できることを特徴としており、義手使用者のQOLの大きな改善が期待できると共に、音声入力を用いることで、高齢者や寝たきりの患者の生活サポートロボットなどにも応用できる。また、検証してきた視覚-運動変換モデルは多くの深層学習の手法と異なり、ロボット制御に必要な物体の特徴量を中間層に教師信号を使わずに抽出でき、そしてそれを介した拘束条件付き最適化問題を容易に解ける。さらに、この情報抽出は画像と姿勢情報の統合を通して実現しており、マルチモーダル情報統合の有用性も示している。

報告書

(5件)
  • 2022 実績報告書   研究成果報告書 ( PDF )
  • 2021 実施状況報告書
  • 2020 実施状況報告書
  • 2019 実施状況報告書
  • 研究成果

    (9件)

すべて 2023 2022 2021 2020 2019 その他

すべて 学会発表 (8件) (うち国際学会 3件) 備考 (1件)

  • [学会発表] 画像認識を併用した筋電義手システムの把持動作識別精度の検証2023

    • 著者名/発表者名
      荒木 雄斗, 松田 基, 福村 直博
    • 学会等名
      電子情報通信学会NC研究会
    • 関連する報告書
      2022 実績報告書
  • [学会発表] 深度画像を用いた精密なロボットハンド制御のための把持対象物の特徴抽出2023

    • 著者名/発表者名
      片山 哲, 松田 基, 福村直博
    • 学会等名
      電子情報通信学会NC研究会
    • 関連する報告書
      2022 実績報告書
  • [学会発表] Evaluation of Generalization Performance of Grasping Control with Robot Hand Using Visuomotor Integration Model2022

    • 著者名/発表者名
      M. Matsuda, S. Katayama, M. Ohashi and N. Fukumura
    • 学会等名
      Neuro2022
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] Grasp Control of a Multi-fingered Robot Hand for Cups of Different Sizes using a Visuomotor Integration Model2022

    • 著者名/発表者名
      M. Matsuda, S, Katayama and N. Fukumura
    • 学会等名
      2022 Joint 12th International Conference on Soft Computing and Intelligent Systems and 23rd International Symposium on Advanced Intelligent Systems
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] CNNと深度画像を用いた視覚-運動変換モデルによる ロボットハンド制御2022

    • 著者名/発表者名
      大橋真愛,松田基,片山哲,福村直博
    • 学会等名
      電子情報通信学会ニューロコンピューティング研究会
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] 多指のロボットハンドによるサイズの異なるコップを把持するための視覚-運動変換モデルの検証2021

    • 著者名/発表者名
      松田基,福村直博
    • 学会等名
      電子情報通信学会ニューロコンピューティング研究会
    • 関連する報告書
      2020 実施状況報告書
  • [学会発表] Verification of Feature Extraction from a Visuomotor Integration Model with Convolutional Neural Network2020

    • 著者名/発表者名
      Motoi Matsuda, Naohiro Fukumura
    • 学会等名
      International Conference on Advance Informatics: Concepts, Theory and Applications
    • 関連する報告書
      2020 実施状況報告書
    • 国際学会
  • [学会発表] 視覚-運動変換の特徴抽出モデルによるロボットアームの到達把持運動制御2019

    • 著者名/発表者名
      松田基,福村直博
    • 学会等名
      日本神経回路学会全国大会
    • 関連する報告書
      2019 実施状況報告書
  • [備考] 生体運動制御システム研究室ホームページ

    • URL

      http://www.bmcs.cs.tut.ac.jp

    • 関連する報告書
      2019 実施状況報告書

URL: 

公開日: 2019-04-18   更新日: 2024-01-30  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi