• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2019 年度 実施状況報告書

深層学習に基づく空間認識能力の実現と感覚統合型筋電義手制御への応用

研究課題

研究課題/領域番号 19K04296
研究機関佐賀大学

研究代表者

福田 修  佐賀大学, 理工学部, 教授 (20357891)

研究分担者 卜 楠  熊本高等専門学校, 電子情報システム工学系AEグループ, 准教授 (80425743)
村木 里志  九州大学, 芸術工学研究院, 教授 (70300473)
研究期間 (年度) 2019-04-01 – 2022-03-31
キーワード深層学習 / 義手 / 空間認知 / 感覚統合
研究実績の概要

本研究では,電動義手をターゲットとした新しいマスタースレーブシステムの研究開発に取り組む.電動義手による様々な一般対象物の把持には,まだ多くの課題が残されているが,本研究では,電動義手に複数のセンサとAIを導入することで,操作性の向上を目指す.提案する電動義手では,深層学習を利用して一般対象物を高精度に認識し,システム内に用意した対象物の内部モデル(3次元モデル,大きさなど)を,その対象物にフィッティングさせる.これにより,どこに,何が,どのように存在するかを空間認識することが可能になる.また提案する電動義手は,加速度・ジャイロセンサも備えており,自身の姿勢や大まかな位置なども把握可能である.
初年度より精力的な研究を勧めることができ,予想を上回る大きな進捗が得られた.まず,ビジョンセンサによる一般物体の認識については,TensorFlowやYOLOなどのオープンソースを利用して,深層学習に基づく高い精度を実現した.また,対象物表面のテクスチャ(模様)を,予め用意したデータベースと比較することで,対象物の姿勢を推定することを実現した.また,対象物の位置と姿勢に基づいて,その場所に拡張現実によるARグラフィクスを重畳し,操作者にフィードバックするしくみを開発した.電動義手には,加速度・ジャイロセンサが備わっており,自身の大まかな移動や姿勢を計算することができる.この機能を利用して,義手の移動中に対象物をトラッキングし続ける仕組みの構築にも取り組んだ.
研究課題に挙げていた機能の多くの部分に,初年度着手することができた.今後は,各機能の精度向上や改良に努めていきたい.実験で使用している義手システムも極めてシンプルなものであるので,その再設計や試作も今後の課題である.

現在までの達成度 (区分)
現在までの達成度 (区分)

1: 当初の計画以上に進展している

理由

予想を上回る大きな進捗が得られた.その結果は,2編の国際論文雑誌,10件の国内講演会などでの発表(うち1件の招待講演),1件の特許出願,1件の意匠出願につながっている.特にImpact Factor 4.098のIEEE ACCESSへの掲載は,今年度の重要な成果である.関連する国内外の研究者からもコンタクトがあり,大きな手応えを感じている.順調なスタートが切れたと考えている.

今後の研究の推進方策

初年度は,想定よりも早いペースで研究を勧めることができ,課題に挙げていた多くのアイディアを試すことができた.しかしながら,一方で,一つ一つの課題の完成度については,まだ多くの改善の余地がある.次年度は,主に次の2つのポイントに注力し,研究を充実させていきたいと考えている.
まず,一つ目にシステムのハードウェア周辺の充実・改良を図りたい.まず,電動義手に関して,初年度は基礎検証用に極めて単純な機構を使用していたが,対象物を把持する上で不十分な面があった.この点を改善できるように把持機構の見直しを行う.また,研究の順調な慎重を踏まえて,ビジョンセンサに関して,追加の課題を用意する.これまでの研究では,電動義手にビジョンセンサを搭載していたが,この方法では,電動義手自身をセンサで捉えられないため,操作者の体幹にビジョンセンサを装着する方法を新たに提案する.この方法により,システムは電動義手と対象物を同時に捉え,両者のインタラクション(把持/リリース)を認識することも可能となる.これにより,研究の幅は大きく広がるものと期待している.
二つ目に,実験環境の充実・改良を図りたい.本研究では,深層学習のネットワークの訓練に用いるデータセットを,実作業を行う中で収集することを予定している.当初は,電動義手に搭載したビジョンセンサからの視点のみでの,データ収集を予定していたが,先述のビジョンセンサの体幹への装着により,実作業を鳥瞰的な視点で記録したデータからのネットワークの訓練にも取り組むことを検討する.
以上により,本研究では,当初予定していた対象物の空間認識だけにとどまらず,電動義手と対象物のインタラクションや作業のコンテクスト認識にまで応用範囲を拡大する.

次年度使用額が生じた理由

佐賀大学においては,計画していた学術雑誌への計画が間に合わず,次年度に掲載を目指すこととなった,そのため,その分の予算を次年度に繰り越すこととなった.熊本高専では,開発における一部のセンサシステムの設計や信号解析,およびデータ取得の検証などを実施して頂く予定であったが,佐賀大学で予定よりも早く研究が進んだため,設計の時期や方針を一部見直すことになったため,そのための開発費を次年度に繰り越すことにした.九州大学では,被験者実験の準備や実験の補助に協力頂くことを予定していたが,熊本高専と同様の理由で,実験の内容の変更が予定されるため,実施を次年度に繰り越すことした.以上の理由により,次年度使用額が生じることとなった.

  • 研究成果

    (14件)

すべて 2020 2019

すべて 雑誌論文 (2件) (うち国際共著 2件、 査読あり 2件、 オープンアクセス 2件) 学会発表 (10件) (うち招待講演 1件) 産業財産権 (2件)

  • [雑誌論文] Development of a Practical Tool in Pick-and-Place Tasks for Human Workers2020

    • 著者名/発表者名
      Yunan HE, Osamu FUKUDA, Daisuke SAKAGUCHI, Nobuhiko YAMAGUCHI and Hiroshi OKUMURA
    • 雑誌名

      International Journal of Advanced Computer Science and Applications

      巻: 11 ページ: ACCEPTED

    • DOI

      10.14569/IJACSA.2020.01104101

    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Development of distributed control system for vision-based myoelectric prothetic hand2019

    • 著者名/発表者名
      Yunan HE, Ryusei SHIMA, Osamu FUKUDA, Nan BU, Nobuhiko YAMAGUCHI and Hiroshi OKUMURA
    • 雑誌名

      IEEE ACCESS

      巻: 7 ページ: 54542 - 54549

    • DOI

      10.1109/ACCESS.2019.2911968

    • 査読あり / オープンアクセス / 国際共著
  • [学会発表] Prosthetic hand control system based on object matching and tracking2019

    • 著者名/発表者名
      Yunan HE, Osamu FUKUDA, Nan BU, Nobuhiko YAMAGUCHI, Hiroshi OKUMURA
    • 学会等名
      ロボティクス・メカトロニクス講演会
  • [学会発表] 一般対象物認識を利用した筋電位信号からの 5指動作認識2019

    • 著者名/発表者名
      坂口大介,何宇楠,福田修,山口暢彦,奥村浩
    • 学会等名
      ロボティクス・メカトロニクス講演会
  • [学会発表] 搭載カメラを利用した筋電義手の操作意図推定2019

    • 著者名/発表者名
      窪園隆介,何宇楠,福田修,山口暢彦,奥村浩
    • 学会等名
      ロボティクス・メカトロニクス講演会
  • [学会発表] Smart hand: grasp objects based on spatial awareness2019

    • 著者名/発表者名
      Yunan HE, Osamu FUKUDA, Nan BU, Nobuhiko YAMAGUCHI, Hiroshi OKUMURA
    • 学会等名
      第37回日本ロボット学会学術講演会
  • [学会発表] Vision-based Sentence Extraction from Hand-object Interaction2019

    • 著者名/発表者名
      Clement ROUX, Yunan HE, Osamu FUKUDA, Nobuhiko YAMAGUCHI, Hiroshi OKUMURA
    • 学会等名
      The 72th Joint Conference of Electrical, Electronics and Information Engineering
  • [学会発表] 異常検知における画像生成技術の有効性2019

    • 著者名/発表者名
      村上 玲奈,福田 修,山口 暢彦,奥村 浩
    • 学会等名
      電気・情報関係学会九州支部第72回連合大会
  • [学会発表] 一般対象物認識と筋電位信号に基づく5指動作認識2019

    • 著者名/発表者名
      坂口 大介,何 宇楠,福田 修,山口 暢彦,奥村 浩
    • 学会等名
      電気・情報関係学会九州支部第72回連合大会
  • [学会発表] 義手搭載カメラによる物体認識と把持対象の選択2019

    • 著者名/発表者名
      窪園 隆介,何 宇楠,福田 修,山口 暢彦,奥村 浩
    • 学会等名
      電気・情報関係学会九州支部第72回連合大会
  • [学会発表] 見て・考えて・動作するスマートハンド2019

    • 著者名/発表者名
      福田 修
    • 学会等名
      大学・高専・スタートアップ発! Meet ユニークテクノロジー,一般財団法人高度技術社会推進協会(TEPIA)
    • 招待講演
  • [学会発表] 見て・考えて・動作するスマートハンド2019

    • 著者名/発表者名
      福田 修
    • 学会等名
      イノベーション・ジャパン2019 ~大学見本市&ビジネスマッチング~,科学技術振興機構
  • [産業財産権] 制御システム及び制御プログラム2019

    • 発明者名
      福田修,何宇楠,窪園隆介
    • 権利者名
      国立大学法人佐賀大学
    • 産業財産権種類
      特許
    • 産業財産権番号
      特願2019-225747
  • [産業財産権] 義手装置2019

    • 発明者名
      福田修,坂口大介
    • 権利者名
      国立大学法人佐賀大学
    • 産業財産権種類
      意匠
    • 産業財産権番号
      意願2019-028662

URL: 

公開日: 2021-01-27   更新日: 2023-03-16  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi