2020 Fiscal Year Research-status Report
Spatial recognition based on deep learning and its application to sensory integrated myoelectric hand
| Project/Area Number |
19K04296
|
|---|
| Research Institution | Saga University |
|---|
Principal Investigator |
福田 修 佐賀大学, 理工学部, 教授 (20357891)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
卜 楠 熊本高等専門学校, 電子情報システム工学系AEグループ, 准教授 (80425743)
村木 里志 九州大学, 芸術工学研究院, 教授 (70300473)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | 深層学習 / 義手 / インタフェース / 感覚統合 / 空間認知 |
|---|
| Outline of Annual Research Achievements |
本研究では，感覚統合機能を搭載した電動義手を用いて，新しいマスタースレーブシステムの研究開発に取り組んでいる．提案する感覚統合型の義手には，複数のセンサと深層学習モデルを導入しており，高い操作性の実現を目指している．センサや深層学習モデルは，一部では人間の機能を上回る能力を発揮することができることから，人間の機能を拡張する新しいマスタースレーブシステムを構築できる期待がある．現在までに，義手にビジョンセンサ，加速度・ジャイロセンサを導入したシステムを構築し，提案の妥当性について検証を行なってきた．研究初年度では，ビジョンセンサから得られたイメージ情報から，深層学習を利用して一般対象物を高精度に認識し，さらに，システム内に用意した対象物の内部モデル（3次元モデル）の拡張現実グラフィクスを，その対象物にフィッティングさせることに成功した．
当該年度は，主に2つの検証に取り組んだ．まず，提案する電動義手に搭載した複数のセンサ情報から，義手自身の移動や動作をシステムが認識し，この情報から，義手がこれから把持しようとしている対象物を決定するアルゴリズムの検証を実施した．実験では，提案する義手が動作する環境内に複数の対象物を配置し，アルゴリズムが有効に機能することを確認した．次に，複数のセンサ情報を1つの深層学習ネットワークに入力し，End-to-Endによる訓練で義手の動作出力を実現するアルゴリズムの構築にも取り組んだ．現在までに基礎的な検証を行い．有効性が期待できる結果が得られている．次年度もこの検証を継続し，著名な国際ジャーナルへの掲載を目指す．
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
研究開発やその検証はこれまで順調に進捗しており，期待を上回る大きな成果が得られている．今年度は主に，環境内に複数の対象物が置かれている場合に，その中から操作者が把持を意図する対象物を推定するアルゴリズムの開発と検証に取り組んだ．このアルゴリズムでは，センサ情報から，義手自身の移動や動作をシステムが認識するために，ビジョンセンサに加えて加速度・ジャイロセンサを義手に導入し，イメージからの対象物推定のみならず，義手が静止して対象物を注視している時間をモニタリングし，操作者の把持の意思を推定することを試みた．さらに，イメージ内の対象物の動きの変化を利用して，ビジョンセンサのみから，加速度・ジャイロセンサを使わずに同様の操作性を実現するアルゴリズムについても検討を行なった．これらの成果については，国際ジャーナルや国際会議をはじめ，多数の成果発表を行なっている．また，国内の講演会において奨励賞を受賞することができた．また，感覚統合に基づく義手制御のアルゴリズムとして，ビジョンセンサからのイメージ情報と，操作者からの筋電位情報の2つの情報を，1つの深層学習ネットワークに入力し，End-to-Endの訓練に基づいて義手を制御する方法についても検討を開始した．既に基礎検証を終えており，1．動作認識の精度が向上する，2．突発的な異常データに対しても認識のロバスト性が向上するなどの良好な結果が得られている．
|
| Strategy for Future Research Activity |
これまで研究は順調に推進されており大きな問題はない．まずは，最重要課題である感覚統合機能の実現に向けて，ビジョンセンサからのイメージ情報と操作者からの筋電位情報をEnd-to-Endで認識するアルゴリズムについての検証を完了し，成果発表することを目標とする．その上で，より完成度の高い研究成果を目指して，システムのハードウェアや実験環境の改善に努めていく．ここでは，当初は予定していなかった追加の課題として，義手に取り付けたカメラの視点だけでなく，操作者の体幹などの絶対系に取り付けたカメラの視点を，システムに入力し，アルゴリズムの拡張を目指すことを検討したいと考えている．また，今年度に取り組んだ複数の対象物から意図する対象物を決定するアルゴリスムは，画像認識にコンテクスト認識を導入した新たな試みであり，この手法についても更なる展開を検討したいと考えている．
|
| Causes of Carryover |
今年度は，Covid’19のパンデミックから大きな影響を受ける一年となり，成果発表の機会などが奪われ，オンラインなどでの実施にともない，旅費などの負担も著しく削減された．また，共同研究機関などと予定していた実験の実施なども大きな影響を受け，実施を次年度に延期するなどの必要も生じたため，当初予定していた予算を次年度に使用することとなった．
|
