• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2020 年度 実施状況報告書

深層学習に基づく空間認識能力の実現と感覚統合型筋電義手制御への応用

研究課題

研究課題/領域番号 19K04296
研究機関佐賀大学

研究代表者

福田 修  佐賀大学, 理工学部, 教授 (20357891)

研究分担者 卜 楠  熊本高等専門学校, 電子情報システム工学系AEグループ, 准教授 (80425743)
村木 里志  九州大学, 芸術工学研究院, 教授 (70300473)
研究期間 (年度) 2019-04-01 – 2022-03-31
キーワード深層学習 / 義手 / インタフェース / 感覚統合 / 空間認知
研究実績の概要

本研究では,感覚統合機能を搭載した電動義手を用いて,新しいマスタースレーブシステムの研究開発に取り組んでいる.提案する感覚統合型の義手には,複数のセンサと深層学習モデルを導入しており,高い操作性の実現を目指している.センサや深層学習モデルは,一部では人間の機能を上回る能力を発揮することができることから,人間の機能を拡張する新しいマスタースレーブシステムを構築できる期待がある.現在までに,義手にビジョンセンサ,加速度・ジャイロセンサを導入したシステムを構築し,提案の妥当性について検証を行なってきた.研究初年度では,ビジョンセンサから得られたイメージ情報から,深層学習を利用して一般対象物を高精度に認識し,さらに,システム内に用意した対象物の内部モデル(3次元モデル)の拡張現実グラフィクスを,その対象物にフィッティングさせることに成功した.
当該年度は,主に2つの検証に取り組んだ.まず,提案する電動義手に搭載した複数のセンサ情報から,義手自身の移動や動作をシステムが認識し,この情報から,義手がこれから把持しようとしている対象物を決定するアルゴリズムの検証を実施した.実験では,提案する義手が動作する環境内に複数の対象物を配置し,アルゴリズムが有効に機能することを確認した.次に,複数のセンサ情報を1つの深層学習ネットワークに入力し,End-to-Endによる訓練で義手の動作出力を実現するアルゴリズムの構築にも取り組んだ.現在までに基礎的な検証を行い.有効性が期待できる結果が得られている.次年度もこの検証を継続し,著名な国際ジャーナルへの掲載を目指す.

現在までの達成度 (区分)
現在までの達成度 (区分)

1: 当初の計画以上に進展している

理由

研究開発やその検証はこれまで順調に進捗しており,期待を上回る大きな成果が得られている.今年度は主に,環境内に複数の対象物が置かれている場合に,その中から操作者が把持を意図する対象物を推定するアルゴリズムの開発と検証に取り組んだ.このアルゴリズムでは,センサ情報から,義手自身の移動や動作をシステムが認識するために,ビジョンセンサに加えて加速度・ジャイロセンサを義手に導入し,イメージからの対象物推定のみならず,義手が静止して対象物を注視している時間をモニタリングし,操作者の把持の意思を推定することを試みた.さらに,イメージ内の対象物の動きの変化を利用して,ビジョンセンサのみから,加速度・ジャイロセンサを使わずに同様の操作性を実現するアルゴリズムについても検討を行なった.これらの成果については,国際ジャーナルや国際会議をはじめ,多数の成果発表を行なっている.また,国内の講演会において奨励賞を受賞することができた.また,感覚統合に基づく義手制御のアルゴリズムとして,ビジョンセンサからのイメージ情報と,操作者からの筋電位情報の2つの情報を,1つの深層学習ネットワークに入力し,End-to-Endの訓練に基づいて義手を制御する方法についても検討を開始した.既に基礎検証を終えており,1.動作認識の精度が向上する,2.突発的な異常データに対しても認識のロバスト性が向上するなどの良好な結果が得られている.

今後の研究の推進方策

これまで研究は順調に推進されており大きな問題はない.まずは,最重要課題である感覚統合機能の実現に向けて,ビジョンセンサからのイメージ情報と操作者からの筋電位情報をEnd-to-Endで認識するアルゴリズムについての検証を完了し,成果発表することを目標とする.その上で,より完成度の高い研究成果を目指して,システムのハードウェアや実験環境の改善に努めていく.ここでは,当初は予定していなかった追加の課題として,義手に取り付けたカメラの視点だけでなく,操作者の体幹などの絶対系に取り付けたカメラの視点を,システムに入力し,アルゴリズムの拡張を目指すことを検討したいと考えている.また,今年度に取り組んだ複数の対象物から意図する対象物を決定するアルゴリスムは,画像認識にコンテクスト認識を導入した新たな試みであり,この手法についても更なる展開を検討したいと考えている.

次年度使用額が生じた理由

今年度は,Covid’19のパンデミックから大きな影響を受ける一年となり,成果発表の機会などが奪われ,オンラインなどでの実施にともない,旅費などの負担も著しく削減された.また,共同研究機関などと予定していた実験の実施なども大きな影響を受け,実施を次年度に延期するなどの必要も生じたため,当初予定していた予算を次年度に使用することとなった.

  • 研究成果

    (8件)

すべて 2020

すべて 雑誌論文 (3件) (うち国際共著 3件、 査読あり 3件、 オープンアクセス 2件) 学会発表 (4件) (うち国際学会 1件、 招待講演 3件) 産業財産権 (1件)

  • [雑誌論文] Noble Control Scheme for Prosthetic Hands through Spatial Understanding2020

    • 著者名/発表者名
      He Yunan、Fukuda Osamu、Yamaguchi Nobuhiko、Okumura Hiroshi、Arai Kohei
    • 雑誌名

      International Journal of Advanced Computer Science and Applications

      巻: 11 ページ: 719~725

    • DOI

      10.14569/IJACSA.2020.0111088

    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Vision-Based Assistance for Myoelectric Hand Control2020

    • 著者名/発表者名
      He Yunan、Kubozono Ryusuke、Fukuda Osamu、Yamaguchi Nobuhiko、Okumura Hiroshi
    • 雑誌名

      IEEE Access

      巻: 8 ページ: 201956~201965

    • DOI

      10.1109/ACCESS.2020.3036115

    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Vision-Based Robot Hand Using Open Source Software2020

    • 著者名/発表者名
      Kubozono Ryusuke、He Yunan、Fukuda Osamu、Yamaguchi Nobuhiko、Okumura Hiroshi、Handayani Anik Nur
    • 雑誌名

      Proceedings of the 4th International Conference on Vocational Education and Training (ICOVET2020)

      巻: 1 ページ: online

    • DOI

      10.1109/ICOVET50258.2020.9230275

    • 査読あり / 国際共著
  • [学会発表] スマートエアリアルハンドの実現に向けた深度カメラに基づく把持動作制御2020

    • 著者名/発表者名
      窪園隆介,福田修,中山 功一,大島千佳,林喜章
    • 学会等名
      2020年度(第73回)電気・情報関係学会九州支部連合大会
  • [学会発表] Implementation of artificial intelligence on image processing, Keynote speach2020

    • 著者名/発表者名
      Osamu FUKUDA
    • 学会等名
      Guest lecture organized by Departmant of Electorical Engineering in Malang, Indonesia
    • 国際学会 / 招待講演
  • [学会発表] AIロボットを知ろう2020

    • 著者名/発表者名
      福田修,村上玲奈
    • 学会等名
      佐賀県立鳥栖高等学校 ダイバーシティ入門講座付き実験体験会
    • 招待講演
  • [学会発表] ロボットハンドと人工知能2020

    • 著者名/発表者名
      福田修
    • 学会等名
      鳥栖工業高等学校 講演
    • 招待講演
  • [産業財産権] 義手装置2020

    • 発明者名
      福田修,坂口大介
    • 権利者名
      国立大学法人佐賀大学
    • 産業財産権種類
      意匠
    • 産業財産権番号
      1682052

URL: 

公開日: 2021-12-27  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi