• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Development of deep learning to reveal physical human-robot interaction and its application to safe robot control

Research Project

Project/Area Number 20H04265
Research Category

Grant-in-Aid for Scientific Research (B)

Allocation TypeSingle-year Grants
Section一般
Review Section Basic Section 61050:Intelligent robotics-related
Research InstitutionNara Institute of Science and Technology

Principal Investigator

小林 泰介  奈良先端科学技術大学院大学, 先端科学技術研究科, 助教 (10796452)

Project Period (FY) 2020-04-01 – 2024-03-31
Project Status Granted (Fiscal Year 2021)
Budget Amount *help
¥17,420,000 (Direct Cost: ¥13,400,000、Indirect Cost: ¥4,020,000)
Fiscal Year 2022: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
Fiscal Year 2021: ¥11,830,000 (Direct Cost: ¥9,100,000、Indirect Cost: ¥2,730,000)
Fiscal Year 2020: ¥2,860,000 (Direct Cost: ¥2,200,000、Indirect Cost: ¥660,000)
Keywordsヒューマンロボットインタラクション / 深層学習 / 強化学習 / 潜在空間抽出
Outline of Research at the Start

本研究では,多自由度系のロボットとヒトとの物理的接触を安全にするための学習制御技術を提案する.そのために,ロボットとヒトとの身体的相互作用に関して潜在的に重要な情報を低次元の潜在空間へと抽出する深層学習技術を開発する.また,得られた潜在空間を活用して,ロボットがヒトとどのように身体的相互作用すれば良いのかを計画あるいは予測して行動するような学習型制御技術を開発する.これらの基盤技術を組み合わせることで,ロボットとヒトとの物理的接触を特定のシーンのみでなく汎用的に達成することを目指す.

Outline of Annual Research Achievements

本研究では,多自由度系のロボットとヒトとの物理的接触を安全にするための学習制御技術開発を目的としている.これに向けて2020年度では,i)高次元観測情報に潜む潜在的な低次元の状態を抽出するための深層学習技術の開発,およびii)方策の学習をより慎重なものとすることで安全かつ高性能なものを獲得するための強化学習技術の開発を実施した.
i)の潜在空間抽出では,従来技術である変分オートエンコーダが潜在空間に情報を抽出する働きと空間そのものを滑らかに整える働きのトレードオフにある問題の解決を目指した.具体的には,ツァリス統計に基づく新たな変分オートエンコーダの定式化を通じて,2つの働きのバランスを観測依存で適応的に調整する機構を数理的に導いた.また,複数の働きを満たそうとすることから,本問題を多目的最適化問題と捉えることにより,任意のパレート解を発見可能とする拡大チェビシェフ法を用いた手法を開発した.これらはどちらも潜在空間上に構築したダイナミクスでの長期予測の精度向上に貢献した.
ii)の強化学習では,深層強化学習において広く普及している学習安定化手法であるターゲットネットワークの更新則が外れ値に脆弱であることに注目した.すなわち,目標信号を生成するターゲットネットワークが誤った情報を取り入れてしまうことで,その後の目標信号を誤ったものにしてしまうリスクである.この問題を外れ値に頑健とされるべき乗則に従う更新則を新たに導入することによって解決した.また,方策改善に制約を与えるProximal Policy Optimizationと呼ばれる最新手法に対して,その制約が非対称かつヒューリスティックな設計であったため,これらを同時に解決する相対ピアソンダイバージェンスに基づいた制約の設計を達成した.両手法とも強化学習のベンチマークタスクにおいて学習性能向上に寄与することを確認した.

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

ロボットとヒトとの物理的接触という目標となる問題設定自体には未だ十分に着手していないものの,類似問題に対して有用な基盤技術の開発が大いに進んだ.特に,得られた潜在空間の抽出技術で構築された潜在空間上でのダイナミクスを活用したモデル予測制御の数値シミュレーションは既に実施しており一定の成果を挙げている.このことから,物理的接触を扱う上での精査・改善は必要と考えるものの,十分な下地を整えられたといえる.

Strategy for Future Research Activity

2020年度に得られた成果を基に,i)潜在空間の抽出技術の物理的接触を陽に扱っていくための改良,ii)潜在空間上での制御技術の確立,iii)実機実験を通じた開発した技術の実証を進める.
i)では,開発した技術に含まれる新たなハイパーパラメータのメタ最適化問題を新たに考える必要があり,これを物理的接触という実問題に照らし合わせて構築することを目指す.また,ii)の制御に繋げるべく,マルコフ性を満たすような潜在空間の構築についても合わせて検討する.
ii)では,これまでに培ってきた安定した学習が可能な強化学習に加えて,潜在空間の構築と同時に最適化されるような手法について検討する.また,モデル予測制御を適用する上で,計算コストが実用上の大きな課題となることが見えてきたため,実時間運用可能な改善を目指す.
iii)では,ヒトとの物理的接触を陽に検出可能な移動ロボットを用いたベンチマーク・デモンストレーション課題を具体化して,開発した技術を評価・実証する.

Report

(1 results)
  • 2020 Annual Research Report

Research Products

(8 results)

All 2021 2020

All Journal Article (3 results) (of which Peer Reviewed: 3 results) Presentation (5 results) (of which Int'l Joint Research: 2 results)

  • [Journal Article] t-soft update of target network for deep reinforcement learning2021

    • Author(s)
      Kobayashi Taisuke, Ilboudo Wendyam Eric Lionel
    • Journal Title

      Neural Networks

      Volume: 136 Pages: 63-71

    • DOI

      10.1016/j.neunet.2020.12.023

    • Related Report
      2020 Annual Research Report
    • Peer Reviewed
  • [Journal Article] 拡大Tchebyshev関数を用いた多目的最適化としての潜在ダイナミクスモデルの学習2021

    • Author(s)
      武田 敏季,小林 泰介,杉本 謙二
    • Journal Title

      日本ロボット学会誌

      Volume: -

    • NAID

      130008117307

    • Related Report
      2020 Annual Research Report
    • Peer Reviewed
  • [Journal Article] q-VAE for Disentangled Representation Learning and Latent Dynamical Systems2020

    • Author(s)
      Kobayashi Taisuke
    • Journal Title

      IEEE Robotics and Automation Letters

      Volume: 5 Pages: 5669-5676

    • DOI

      10.1109/lra.2020.3010206

    • NAID

      120006949517

    • Related Report
      2020 Annual Research Report
    • Peer Reviewed
  • [Presentation] 拡大Tchebyshev関数を用いた多目的最適化としての潜在動的モデルの学習2021

    • Author(s)
      武田 俊季,小林 泰介,杉本 謙二
    • Organizer
      制御部門マルチシンポジウム
    • Related Report
      2020 Annual Research Report
  • [Presentation] Towards Deep Robot Learning with Optimizer Applicable to Non-Stationary Problems2021

    • Author(s)
      Kobayashi Taisuke
    • Organizer
      IEEE/SICE International Symposium on System Integration
    • Related Report
      2020 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Proximal Policy Optimization with Relative Pearson Divergence2021

    • Author(s)
      Kobayashi Taisuke
    • Organizer
      IEEE International Conference on Robotics and Automation
    • Related Report
      2020 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 潜在空間におけるモデル予測制御2020

    • Author(s)
      武田 敏季,小林 泰介,杉本 謙二
    • Organizer
      ロボティクス・メカトロニクス講演会
    • Related Report
      2020 Annual Research Report
  • [Presentation] 紐解かれた潜在空間抽出のためのツァリス統計型変分オートエンコーダ2020

    • Author(s)
      小林 泰介
    • Organizer
      ロボティクス・メカトロニクス講演会
    • Related Report
      2020 Annual Research Report

URL: 

Published: 2020-04-28   Modified: 2022-04-19  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi