• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

深層学習に基づく空間認識能力の実現と感覚統合型筋電義手制御への応用

研究課題

研究課題/領域番号 19K04296
研究種目

基盤研究(C)

配分区分基金
応募区分一般
審査区分 小区分20020:ロボティクスおよび知能機械システム関連
研究機関佐賀大学

研究代表者

福田 修  佐賀大学, 理工学部, 教授 (20357891)

研究分担者 卜 楠  熊本高等専門学校, 電子情報システム工学系AEグループ, 准教授 (80425743)
村木 里志  九州大学, 芸術工学研究院, 教授 (70300473)
研究期間 (年度) 2019-04-01 – 2022-03-31
研究課題ステータス 完了 (2021年度)
配分額 *注記
4,290千円 (直接経費: 3,300千円、間接経費: 990千円)
2021年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円)
2020年度: 1,300千円 (直接経費: 1,000千円、間接経費: 300千円)
2019年度: 1,560千円 (直接経費: 1,200千円、間接経費: 360千円)
キーワードマスタースレーブ / 電動義手 / 深層学習 / 画像認識 / 感覚統合 / 義手 / インタフェース / 空間認知
研究開始時の研究の概要

筋電義手は,実空間において人間と機械とが複雑な操作を要求されるマスタースレーブの好例である.本研究では,スレーブ側に複数のセンサとAI(深層学習)を導入し,マスター操作を高度に支援する新たな制御方法を提案する.スレーブ側の義手は,深層学習を利用して,どこに,何が,どのように存在するかを空間認識するとともに,カメラ,加速度・ジャイロセンサなどからの感覚を統合し,自身の状態(姿勢や位置など)を把握する.マスター側では,深層学習を利用して操作者の運動意図を筋電位信号から推定し,これをスレーブ側の情報と統合して制御に利用する.構築したシステムで実践的な評価実験を実施する.

研究成果の概要

本研究では,新しいマスタースレーブシステムの制御手法について議論する.提案するハンドは,ビジョンセンサと慣性計測ユニット,深層学習に基づくAIを搭載している.そして,ハンドは環境中の一般物体を認識するとともに,その姿勢を推定することができる.また,自己の姿勢を推定することもできる.これらの機能により,従来のマスタースレーブには難しかった複雑な動作を,簡単なオペレーションで実行することを可能とした.さらに,複数の入力を使ってend-to-endで訓練が可能な新しいニューラルネットの設計にも取り組んだ.様々な対象物を用いた実験によって,提案手法の妥当性と有効性を検証した.

研究成果の学術的意義や社会的意義

本研究が提案する新しいマスタースレーブの制御方法では,エンドエフェクタ側にセンサやAIを搭載することで,ユーザー側で複雑な操作をすることなく,半自動的に複雑なエンドエフェクタの動作を制御することが可能となる.例えば,この技術を電動義手に導入すれば,これまでは多くても10動作程度に限られていた義手の動作の自由度を,飛躍的に高めることができる.また,複数のセンサ情報を組み合わせて制御を決定する方法は,ユーザの操作意図をより正確に推定することを可能とし,一部のセンサに加わった外乱に対しても,システムを頑強に保つことができる.

報告書

(4件)
  • 2021 実績報告書   研究成果報告書 ( PDF )
  • 2020 実施状況報告書
  • 2019 実施状況報告書
  • 研究成果

    (32件)

すべて 2022 2021 2020 2019

すべて 雑誌論文 (11件) (うち国際共著 5件、 査読あり 11件、 オープンアクセス 6件) 学会発表 (18件) (うち国際学会 1件、 招待講演 5件) 産業財産権 (3件)

  • [雑誌論文] Bimodal control of a walk-assist robot for a person tracking2022

    • 著者名/発表者名
      Ryosuke MIYATA, Yeoh Wen Liang, Osamu FUKUDA, Nobuhiko YAMAGUCHI, Hiroshi OKUMURA
    • 雑誌名

      Proceedings of the 26th International Symposium on Artificial Life and Robotics

      巻: 1

    • 関連する報告書
      2021 実績報告書
    • 査読あり
  • [雑誌論文] Object Search Using Edge-AI Based Mobile Robot2021

    • 著者名/発表者名
      Miyata Ryosuke、Fukuda Osamu、Yamaguchi Nobuhiko、Okumura Hiroshi
    • 雑誌名

      2021 6th International Conference on Intelligent Informatics and Biomedical Sciences (ICIIBMS)

      巻: 1 ページ: 198-203

    • DOI

      10.1109/iciibms52876.2021.9651591

    • 関連する報告書
      2021 実績報告書
    • 査読あり
  • [雑誌論文] Object Searching Robot Controlled by Edge-AI2021

    • 著者名/発表者名
      Miyata Ryosuke、Fukuda Osamu、Yamaguchi Nobuhiko、Okumura Hiroshi
    • 雑誌名

      Journal of Information and Communication Engineering (JICE)

      巻: 7 ページ: 455-461

    • 関連する報告書
      2021 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Bimodal Control of a Vision-Based Myoelectric Hand2021

    • 著者名/発表者名
      Fukuda Osamu、Sakaguchi Daisuke、He Yunan、Yamaguchi Nobuhiko、Okumura Hiroshi
    • 雑誌名

      IEEE Access

      巻: 9 ページ: 98369-98380

    • DOI

      10.1109/access.2021.3096040

    • 関連する報告書
      2021 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Task assistance with human-augmented hand and its performance analysis2021

    • 著者名/発表者名
      Shunji MIYAGAWA, Osamu FUKUDA Nobuhiko YAMAGUCHI and Hiroshi OKUMURA, and Anik Nur Handayani
    • 雑誌名

      Proceedings of the 7th International Conference on Electrical, Electronics and Information Engineering(ICEEIE)

      巻: 1 ページ: 390-394

    • DOI

      10.1109/iceeie52663.2021.9616867

    • 関連する報告書
      2021 実績報告書
    • 査読あり
  • [雑誌論文] Vision-based Scene Recognition for Product Search2021

    • 著者名/発表者名
      Takayanagi Miho、Fukuda Osamu、Yamaguchi Nobuhiko、Okumura Hiroshi、Handayani Anik Nur
    • 雑誌名

      Proceedings of the 7th International Conference on Electrical, Electronics and Information Engineering(ICEEIE)

      巻: 1 ページ: 1-5

    • DOI

      10.1109/iceeie52663.2021.9616880

    • 関連する報告書
      2021 実績報告書
    • 査読あり
  • [雑誌論文] Noble Control Scheme for Prosthetic Hands through Spatial Understanding2020

    • 著者名/発表者名
      He Yunan、Fukuda Osamu、Yamaguchi Nobuhiko、Okumura Hiroshi、Arai Kohei
    • 雑誌名

      International Journal of Advanced Computer Science and Applications

      巻: 11 号: 10 ページ: 719-725

    • DOI

      10.14569/ijacsa.2020.0111088

    • 関連する報告書
      2020 実施状況報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Vision-Based Assistance for Myoelectric Hand Control2020

    • 著者名/発表者名
      He Yunan、Kubozono Ryusuke、Fukuda Osamu、Yamaguchi Nobuhiko、Okumura Hiroshi
    • 雑誌名

      IEEE Access

      巻: 8 ページ: 201956-201965

    • DOI

      10.1109/access.2020.3036115

    • 関連する報告書
      2020 実施状況報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Vision-Based Robot Hand Using Open Source Software2020

    • 著者名/発表者名
      Kubozono Ryusuke、He Yunan、Fukuda Osamu、Yamaguchi Nobuhiko、Okumura Hiroshi、Handayani Anik Nur
    • 雑誌名

      Proceedings of the 4th International Conference on Vocational Education and Training (ICOVET2020)

      巻: 1 ページ: 180-184

    • DOI

      10.1109/icovet50258.2020.9230275

    • 関連する報告書
      2020 実施状況報告書
    • 査読あり / 国際共著
  • [雑誌論文] Development of a Practical Tool in Pick-and-Place Tasks for Human Workers2020

    • 著者名/発表者名
      Yunan HE, Osamu FUKUDA, Daisuke SAKAGUCHI, Nobuhiko YAMAGUCHI and Hiroshi OKUMURA
    • 雑誌名

      International Journal of Advanced Computer Science and Applications

      巻: 11 号: 4

    • DOI

      10.14569/ijacsa.2020.01104101

    • 関連する報告書
      2019 実施状況報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Development of distributed control system for vision-based myoelectric prothetic hand2019

    • 著者名/発表者名
      Yunan HE, Ryusei SHIMA, Osamu FUKUDA, Nan BU, Nobuhiko YAMAGUCHI and Hiroshi OKUMURA
    • 雑誌名

      IEEE ACCESS

      巻: 7 ページ: 54542-54549

    • DOI

      10.1109/access.2019.2911968

    • 関連する報告書
      2019 実施状況報告書
    • 査読あり / オープンアクセス / 国際共著
  • [学会発表] 商品探索を目的としたシーン認識2021

    • 著者名/発表者名
      高柳美保,福田修,奥村浩,山口暢彦
    • 学会等名
      第74回電気・情報関係学会九州支部連合大会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] エッジAIに基づく移動ロボットの開発2021

    • 著者名/発表者名
      宮田竜輔,福田修,奥村浩,山口暢彦
    • 学会等名
      第74回電気・情報関係学会九州支部連合大会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 人間拡張ハンドによる作業支援とパフォーマンスの解析2021

    • 著者名/発表者名
      宮川俊二,福田修,奥村浩,山口暢彦
    • 学会等名
      第74回電気・情報関係学会九州支部連合大会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 人工の手とAI ーロボットハンドを使って人工知能を育てるー2021

    • 著者名/発表者名
      福田修
    • 学会等名
      第52回サイエンスカフェ in SAGA
    • 関連する報告書
      2021 実績報告書
    • 招待講演
  • [学会発表] スマートエアリアルハンドの実現に向けた深度カメラに基づく把持動作制御2020

    • 著者名/発表者名
      窪園隆介,福田修,中山 功一,大島千佳,林喜章
    • 学会等名
      2020年度(第73回)電気・情報関係学会九州支部連合大会
    • 関連する報告書
      2020 実施状況報告書
  • [学会発表] Implementation of artificial intelligence on image processing, Keynote speach2020

    • 著者名/発表者名
      Osamu FUKUDA
    • 学会等名
      Guest lecture organized by Departmant of Electorical Engineering in Malang, Indonesia
    • 関連する報告書
      2020 実施状況報告書
    • 国際学会 / 招待講演
  • [学会発表] AIロボットを知ろう2020

    • 著者名/発表者名
      福田修,村上玲奈
    • 学会等名
      佐賀県立鳥栖高等学校 ダイバーシティ入門講座付き実験体験会
    • 関連する報告書
      2020 実施状況報告書
    • 招待講演
  • [学会発表] ロボットハンドと人工知能2020

    • 著者名/発表者名
      福田修
    • 学会等名
      鳥栖工業高等学校 講演
    • 関連する報告書
      2020 実施状況報告書
    • 招待講演
  • [学会発表] Prosthetic hand control system based on object matching and tracking2019

    • 著者名/発表者名
      Yunan HE, Osamu FUKUDA, Nan BU, Nobuhiko YAMAGUCHI, Hiroshi OKUMURA
    • 学会等名
      ロボティクス・メカトロニクス講演会
    • 関連する報告書
      2019 実施状況報告書
  • [学会発表] 一般対象物認識を利用した筋電位信号からの 5指動作認識2019

    • 著者名/発表者名
      坂口大介,何宇楠,福田修,山口暢彦,奥村浩
    • 学会等名
      ロボティクス・メカトロニクス講演会
    • 関連する報告書
      2019 実施状況報告書
  • [学会発表] 搭載カメラを利用した筋電義手の操作意図推定2019

    • 著者名/発表者名
      窪園隆介,何宇楠,福田修,山口暢彦,奥村浩
    • 学会等名
      ロボティクス・メカトロニクス講演会
    • 関連する報告書
      2019 実施状況報告書
  • [学会発表] Smart hand: grasp objects based on spatial awareness2019

    • 著者名/発表者名
      Yunan HE, Osamu FUKUDA, Nan BU, Nobuhiko YAMAGUCHI, Hiroshi OKUMURA
    • 学会等名
      第37回日本ロボット学会学術講演会
    • 関連する報告書
      2019 実施状況報告書
  • [学会発表] Vision-based Sentence Extraction from Hand-object Interaction2019

    • 著者名/発表者名
      Clement ROUX, Yunan HE, Osamu FUKUDA, Nobuhiko YAMAGUCHI, Hiroshi OKUMURA
    • 学会等名
      The 72th Joint Conference of Electrical, Electronics and Information Engineering
    • 関連する報告書
      2019 実施状況報告書
  • [学会発表] 異常検知における画像生成技術の有効性2019

    • 著者名/発表者名
      村上 玲奈,福田 修,山口 暢彦,奥村 浩
    • 学会等名
      電気・情報関係学会九州支部第72回連合大会
    • 関連する報告書
      2019 実施状況報告書
  • [学会発表] 一般対象物認識と筋電位信号に基づく5指動作認識2019

    • 著者名/発表者名
      坂口 大介,何 宇楠,福田 修,山口 暢彦,奥村 浩
    • 学会等名
      電気・情報関係学会九州支部第72回連合大会
    • 関連する報告書
      2019 実施状況報告書
  • [学会発表] 義手搭載カメラによる物体認識と把持対象の選択2019

    • 著者名/発表者名
      窪園 隆介,何 宇楠,福田 修,山口 暢彦,奥村 浩
    • 学会等名
      電気・情報関係学会九州支部第72回連合大会
    • 関連する報告書
      2019 実施状況報告書
  • [学会発表] 見て・考えて・動作するスマートハンド2019

    • 著者名/発表者名
      福田 修
    • 学会等名
      大学・高専・スタートアップ発! Meet ユニークテクノロジー,一般財団法人高度技術社会推進協会(TEPIA)
    • 関連する報告書
      2019 実施状況報告書
    • 招待講演
  • [学会発表] 見て・考えて・動作するスマートハンド2019

    • 著者名/発表者名
      福田 修
    • 学会等名
      イノベーション・ジャパン2019 ~大学見本市&ビジネスマッチング~,科学技術振興機構
    • 関連する報告書
      2019 実施状況報告書
  • [産業財産権] 義手装置2020

    • 発明者名
      福田修,坂口大介
    • 権利者名
      国立大学法人佐賀大学
    • 産業財産権種類
      意匠
    • 出願年月日
      2020
    • 取得年月日
      2021
    • 関連する報告書
      2020 実施状況報告書
  • [産業財産権] 制御システム及び制御プログラム2019

    • 発明者名
      福田修,何宇楠,窪園隆介
    • 権利者名
      国立大学法人佐賀大学
    • 産業財産権種類
      特許
    • 産業財産権番号
      2019-225747
    • 出願年月日
      2019
    • 関連する報告書
      2019 実施状況報告書
  • [産業財産権] 義手装置2019

    • 発明者名
      福田修,坂口大介
    • 権利者名
      国立大学法人佐賀大学
    • 産業財産権種類
      意匠
    • 出願年月日
      2019
    • 関連する報告書
      2019 実施状況報告書

URL: 

公開日: 2019-04-18   更新日: 2023-03-16  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi