Spatial recognition based on deep learning and its application to sensory integrated myoelectric hand
| Project/Area Number |
19K04296
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 20020:Robotics and intelligent system-related
|
|---|
| Research Institution | Saga University |
|---|
Principal Investigator |
Fukuda Osamu 佐賀大学, 理工学部, 教授 (20357891)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
卜 楠 熊本高等専門学校, 電子情報システム工学系AEグループ, 准教授 (80425743)
村木 里志 九州大学, 芸術工学研究院, 教授 (70300473)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Project Status |
Completed (Fiscal Year 2021)
|
| Budget Amount *help |
¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000)
Fiscal Year 2021: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2020: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2019: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
|
|---|
| Keywords | マスタースレーブ / 電動義手 / 深層学習 / 画像認識 / 感覚統合 / 義手 / インタフェース / 空間認知 |
|---|
| Outline of Research at the Start |
筋電義手は，実空間において人間と機械とが複雑な操作を要求されるマスタースレーブの好例である．本研究では，スレーブ側に複数のセンサとAI（深層学習）を導入し，マスター操作を高度に支援する新たな制御方法を提案する．スレーブ側の義手は，深層学習を利用して，どこに，何が，どのように存在するかを空間認識するとともに，カメラ，加速度・ジャイロセンサなどからの感覚を統合し，自身の状態（姿勢や位置など）を把握する．マスター側では，深層学習を利用して操作者の運動意図を筋電位信号から推定し，これをスレーブ側の情報と統合して制御に利用する．構築したシステムで実践的な評価実験を実施する．
|
| Outline of Final Research Achievements |
In this study, we discussed a novel master-slave control method. The proposed hand was equipped with a vision sensor, an IMU unit, and artificial intelligence based on deep learning technique. The hand can recognize general objects in the environment and estimate their posture, as well as measure the posture of the hand itself. These functions make it possible to perform complicated hand grasping operations that were difficult for conventional master-slave control method. We also tried to design a distinctive neural network that can be trained with multi-modal inputs in end-to-end manner. The validity and effectiveness of the proposed method were verified with experiments using various general objects.
|
| Academic Significance and Societal Importance of the Research Achievements |
本研究が提案する新しいマスタースレーブの制御方法では，エンドエフェクタ側にセンサやAIを搭載することで，ユーザー側で複雑な操作をすることなく，半自動的に複雑なエンドエフェクタの動作を制御することが可能となる．例えば，この技術を電動義手に導入すれば，これまでは多くても10動作程度に限られていた義手の動作の自由度を，飛躍的に高めることができる．また，複数のセンサ情報を組み合わせて制御を決定する方法は，ユーザの操作意図をより正確に推定することを可能とし，一部のセンサに加わった外乱に対しても，システムを頑強に保つことができる．
|
Report
(4 results)
Research Products
(32 results)
