自己と他者の動作データからの内部モデルの構築と行動則の獲得

• Project Area: Correspondence and Fusion of Artificial Intelligence and Brain Science
• Project/Area Number: 16H06565
• Research Category: Grant-in-Aid for Scientific Research on Innovative Areas (Research in a proposed research area)
• Allocation Type: Single-year Grants
• Review Section: Complex systems
• Research Institution: Advanced Telecommunications Research Institute International
• Principal Investigator: 森本 淳 株式会社国際電気通信基礎技術研究所, 脳情報通信総合研究所, 研究室長 (10505986)
• Project Period (FY): 2016-06-30 – 2021-03-31
• Project Status: Granted (Fiscal Year 2020)
• Budget Amount: ¥69,550,000 (Direct Cost: ¥53,500,000、Indirect Cost: ¥16,050,000); Fiscal Year 2020: ¥13,650,000 (Direct Cost: ¥10,500,000、Indirect Cost: ¥3,150,000); Fiscal Year 2019: ¥13,650,000 (Direct Cost: ¥10,500,000、Indirect Cost: ¥3,150,000); Fiscal Year 2018: ¥13,650,000 (Direct Cost: ¥10,500,000、Indirect Cost: ¥3,150,000); Fiscal Year 2017: ¥13,650,000 (Direct Cost: ¥10,500,000、Indirect Cost: ¥3,150,000); Fiscal Year 2016: ¥14,950,000 (Direct Cost: ¥11,500,000、Indirect Cost: ¥3,450,000)
• Keywords: 機械学習 / ロボティクス

Outline of Annual Research Achievements

脳の運動制御手法に学んだ階層的運動生成モデルを用いる方法論を、ヒト型ロボットモデルのように多自由度の系においてもリアルタイムで環境において動作生成可能であることを、特に視覚系を用いたバランス制御を導入する形で進めた。その結果、実ヒューマノイドロボットにおいて、開発した階層的な運動生成モデルがリアルタイムで作動することが確認できた。一方で、多自由度ヒト型ロボットモデルの動力学シミュレータを用いたリアルタイム制御の検証においては、動的に目的関数を連続的に切り替えることによって、適応的に多様な動作を生み出すことができるかどうかについて検討を進め、それが可能であることをシミュレーション実験的に示した。特に、階層構造を用いない場合との比較を行い、従来法では、リアルタイムで多自由度の動作を生成できないような課題において、提案する階層的なアプローチを用いた場合には、限られた計算コストで目的とするタスクに対して十分な動作性能をリアルタイムで発揮できることが分かった。
一方で、これまで開発してきたハイブリッドアクチュエータシステムを用いて、次の３つ成果を得た。
１）人工筋を１軸に２筋配置することにより、精緻な剛性制御が可能となること実験的に示し、また理論的な検証も行った。
２）ヒトが装着できるような外骨格アシストロボットにハイブリッドアクチュエータを導入した際に、ヒトが装着した状態でのインタラクティブな人工筋の動作特性の同定方法を開発し、ヒトの動作帯域においてのロボットの特性を見出すことができるようになった。
３）ヒトの腕の筋によって導出される可操作性を、開発したハイブリッドアクチュエータシステムでヒトの動作をアシストすることにより、その可操作性を高めることが可能となることを実験的に示した。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

脳の運動制御手法に学んだ階層的運動生成モデルを用いる方法論を、ヒト型ロボットモデルのように多自由度の系においてもリアルタイムで動作生成可能であることを示した上で、特に視覚系を用いたバランス制御を組み合わせる形で、実ヒト型ロボットにおいて提案した方法論を実装可能であることを示した。また提案手法の有用性を従来手法と比較することによって示し、さらに動的に目的関数を連続的に切り替えることによって、適応的に多様な動作を生みことができることをモデル実験において示した。この成果は英文学術論文誌に採択された。加えて、これまで開発してきたハイブリッドアクチュエータシステムを用いて、ヒトとのインタラクション課題を中心に、その性能評価や可操作性などヒトの能力拡張に関する研究が進捗し、これらの成果が英文学術論文誌に複数採択された。

Strategy for Future Research Activity

今後は、今年度においても継続して進めてきた脳の運動制御手法に学んだ階層的運動生成モデルを用いる方法論を発展させる。ヒト型ロボットモデルのような多自由度の系においてリアルタイムで動作を生成するときに、特に実環境においては短い制御周期での各関節での局所フィードバックが重要であることがわかってきた。そこで、ヒトの脊髄系の制御メカニズムを参考に、さらに深い階層構造を持つ運動生成モデルに発展させ、そのようなメカニズムが制御の頑健性にどのように貢献するかを検証する。

Research Products

• [Int'l Joint Research] ヨージェフ・ステファン研究所(スロベニア)
• [Int'l Joint Research] ヨージェフ・ステファン研究所(スロベニア)
• [Int'l Joint Research] Jozef Stefan Institute(スロベニア)
• [Journal Article] Stable control of force, position, and stiffness for robot joints powered via pneumatic muscles (2019)
  • Author(s): Barkan UGURLU,Paolo FORNI,Corinne DOPPMANN,Emre SARIYILIZ,Jun MORIMOTO
  • Journal Title: IEEE Transactions on Industrial Informatics Volume: 15 Pages: 6270-6279
  • DOI: 10.1109/tii.2019.2916228
  • Peer Reviewed / Int'l Joint Research
• [Journal Article] Assistive arm-exoskeleton control based on human muscular manipulability (2019)
  • Author(s): Tadej PETRIC,Luka PETERNEL,Jun MORIMOTO,Jan BABIC
  • Journal Title: Frontiers in Neurorobotics Volume: 13
  • DOI: 10.3389/fnbot.2019.00030
  • Peer Reviewed / Open Access / Int'l Joint Research
• [Journal Article] Design of physical user-robot interactions for model identification of soft actuators on exoskeleton robots (2019)
  • Author(s): Masashi HAMAYA,Takamitsu MATSUBARA,Tatsuya TERAMAE,Tomoyuki NODA,Jun MORIMOTO
  • Journal Title: International Journal of Robotics Research Volume: - Pages: 1-14
  • DOI: 10.1177/0278364919853618
  • Peer Reviewed / Open Access
• [Journal Article] Full-body optimal control toward versatile and agile behaviors in a humanoid robot (2019)
  • Author(s): Koji ISHIHARA,Takeshi D. ITOH,Jun MORIMOTO
  • Journal Title: IEEE Robotics and Automation Letters Volume: 15 Pages: 119-126
  • DOI: 10.1109/lra.2019.2947001
  • Peer Reviewed / Open Access
• [Journal Article] Human-in-the-loop control and task learning for pneumatically actuated muscle based robots (2018)
  • Author(s): Tatsuya TERAMAE,Koji ISHIHARA,Jan BABIC,Jun MORIMOTO,Erhan OZTOP
  • Journal Title: Frontiers in Human-in-the-Loop Robot Control and Learning Volume: 12 Pages: 71-71
  • DOI: 10.3389/fnbot.2018.00071
  • Peer Reviewed / Open Access / Int'l Joint Research
• [Journal Article] A Gaussian Process-Based Active Learning Approach for Exoskeleton Robots (2018)
  • Author(s): 濱屋 政志、松原 崇充、森本 淳
  • Journal Title: SYSTEMS, CONTROL AND INFORMATION Volume: 62 Issue: 10 Pages: 423-428
  • DOI: 10.11509/isciesci.62.10_423
  • NAID: 130007632587
  • ISSN: 0916-1600, 2424-1806
  • Peer Reviewed / Open Access
• [Journal Article] An optimal control strategy for hybrid actuator systems: Application to an artificial muscle with electric motor assist (2018)
  • Author(s): Koji Ishihara, Jun Morimoto
  • Journal Title: Neural Networks Volume: 99 Pages: 92-100
  • DOI: 10.1016/j.neunet.2017.12.010
  • Peer Reviewed / Open Access
• [Journal Article] ヒト動作の模倣によるヒト型ロボット動作学習 (2018)
  • Author(s): 森本淳
  • Journal Title: 生体の科学 Volume: 69 Issue: 1 Pages: 51-53
  • DOI: 10.11477/mf.2425200754
  • ISSN: 0370-9531, 1883-5503
• [Journal Article] Skill learning and action recognition by arc-length dynamic movement primitives (2017)
  • Author(s): T.Gaspar, B.Nemec, J.Morimoto, A.Ude
  • Journal Title: Robotics and Autonomous Systems Volume: 100 Pages: 225-235
  • DOI: 10.1016/j.robot.2017.11.012
  • Peer Reviewed / Int'l Joint Research
• [Journal Article] Soft humanoid motor learning (2017)
  • Author(s): Jun Morimoto
  • Journal Title: Science Robotics Volume: 2
  • DOI: 10.1126/scirobotics.aaq0989
  • Peer Reviewed
• [Presentation] 階層モデルを用いた人型ロボットの運動生成 (2020)
  • Author(s): 石原弘二
  • Organizer: 異分野融合ワークショップ「脳型情報処理によるロボットラーニングの技術革新」
  • Invited
• [Presentation] Motor learning algorithms (2019)
  • Author(s): Jun MORIMOTO
  • Organizer: Skolkovo Robotics 2019
  • Int'l Joint Research / Invited
• [Presentation] Learning to write anywhere with spatial transformer image-to-motion encoder-decoder networks (2019)
  • Author(s): Barry RIDGE,Rok PAHIC,Ales UDE,Jun MORIMOTO
  • Organizer: IEEE International Conference on Robotics and Automation(ICRA2019)
  • Int'l Joint Research
• [Presentation] Exploiting human and robot muscle synergies for human-in-the-loop optimization of EMG-based assistive strategies (2019)
  • Author(s): Masashi HAMAYA,Takamitsu MATSUBARA,Jun-ichiro FURUKAWA,Yuting SUN,Satoshi YAGI,Tatsuya TERAMAE,Tomoyuki NODA,Jun MORIMOTO
  • Organizer: IEEE International Conference on Robotics and Automation(ICRA2019)
  • Int'l Joint Research
• [Presentation] Convolutional encoder-decoder networks for robust image-to-motion prediction (2019)
  • Author(s): Barry RIDGE,Rok PAHIC,Ales UDE,Jun MORIMOTO
  • Organizer: 28th International Conference on Robotics in Alpe-Adria-Danube Region(RAAD2019)
  • Int'l Joint Research
• [Presentation] 状態予測に基づくロボットの階層的な運動制御 (2019)
  • Author(s): 森本淳
  • Organizer: 第13回Motor Control研究会
  • Invited
• [Presentation] Model-based approaches to humanoid motor learning (2019)
  • Author(s): Jun MORIMOTO
  • Organizer: 5th CiNet Conference, Computation and Representation in Brains and Machines
  • Invited
• [Presentation] Estimating humerus head elevation in human shoulder joints via gaussian process regression (2018)
  • Author(s): Sara HAMDAN,Erhan OZTOP,Jun-ichiro FURUKAWA,Jun MORIMOTO,Barkan UGURLU
  • Organizer: Turkey Robotics Conference(TORK2018)
  • Int'l Joint Research
• [Presentation] Robotizing double-bar ankle-foot orthosis (2018)
  • Author(s): Tomoyuki NODA,Asuka TAKAI,Tatsuya TERAMAE,Eiko HIROOKA,Kimitaka HASE,Jun MORIMOTO
  • Organizer: IEEE International Conference on Robotics and Automation(ICRA2018)
  • Int'l Joint Research
• [Presentation] Deep encoder-decoder networks for mapping raw images to dynamic movement primitives (2018)
  • Author(s): Rok PAHIC,Andrej GAMS,Ales UDE,Jun MORIMOTO
  • Organizer: IEEE International Conference on Robotics and Automation(ICRA2018)
  • Int'l Joint Research
• [Presentation] Shoulder glenohumeral elevation estimation based on upper arm orientation (2018)
  • Author(s): Sara HAMDAN,,Erhan OZTOP,Jun-ichiro FURUKAWA,,Jun MORIMOTO,Barkan UGURLU
  • Organizer: 40th International Conference of the IEEE Engineering in Medicine and Biology Society
  • Int'l Joint Research
• [Presentation] Bayesian optimisation of exoskeleton design parameters (2018)
  • Author(s): Daniel F.N. GORDON,Takamitsu MATSUBARA,Tomoyuki NODA,Tatsuya TERAMAE,Jun MORIMOTO,Sethu VIJAYAKUMAR
  • Organizer: 7th IEEE RAS/EMBS International Conference on Biomedical Robotics and Biomechatronics（BioRob 2018）
  • Int'l Joint Research
• [Presentation] A data-driven approach for estimating human behavior with collaborative filtering (2018)
  • Author(s): Jun-ichiro FURUKAWA,Jun MORIMOTO
  • Organizer: Joint workshop of UCL-ICN, NTT, UCL-Gatsby, and AIBS
  • Int'l Joint Research
• [Presentation] Humanoid motor learning from observed human behaviors (2018)
  • Author(s): Jun MORIMOTO
  • Organizer: Joint Workshop of UCL-ICN,NTT,UCL-Gatsby,and AIBS
  • Int'l Joint Research
• [Presentation] Reinforcement learning of phase oscillators for fast adaptation to moving targets (2018)
  • Author(s): Guilherme MAEDA,Okan KOC,Jun MORIMOTO
  • Organizer: Conference on Robot Learning(CoRL2018)
  • Int'l Joint Research
• [Presentation] ユーザ嗜好に基づくEMGを用いた運動支援制御器のベイズ最適化 (2018)
  • Author(s): 濱屋政志, 松原崇充, 古川淳一朗, 孫雨庭, 八木聡明, 寺前達也, 野田智之, 森本淳
  • Organizer: 第19回計測自動制御学会システムインテグレーション部門講演会(SI2018)
• [Presentation] A forward and inverse optimal control framework to generate humanoid robot movements with hierarchical MPC (2017)
  • Author(s): K.Ishihara,J.Furukawa, J.Morimoto
  • Organizer: 3rd Multidisciplinary Conference on Reinforcement Learning and Decision Making(RLDM2017)
  • Int'l Joint Research
• [Presentation] Trajectory representation by nonlinear scaling of dynamic movement primitives (2016)
  • Author(s): A.Ude, R.Vuga, B.Nemec, J.Morimoto
  • Organizer: IEEE/RSJ International Conference on Intelligent Robots and Systems(IROS2016)
  • Int'l Joint Research
• [Presentation] ヒューマノイドロボットの運動学習 (2016)
  • Author(s): 森本淳
  • Organizer: 第16回Kフォーラムざっくばらんフォーラム「情報学からの価値創造」
  • Invited
• [Presentation] A hierarchical model predictive control approach to generate biped robot movements in real-time (2016)
  • Author(s): K.Ishihara, J.Morimoto
  • Organizer: IEEE International Conference on Simulation, Modeling, and Programming for Autonomous Robots(SIMPAR2016) Workshop
  • Int'l Joint Research
• [Book] これからの強化学習 「高次元・実環境における強化学習」 (2016)
  • Author(s): 森本淳、杉本徳和
  • Total Pages: 9
  • Publisher: 森北出版
  • ISBN: 4627880316
• [Patent(Industrial Property Rights)] 制御システム (2019)
  • Inventor(s): 伊藤健史、石原弘二、森本淳
  • Industrial Property Rights Holder: 伊藤健史、石原弘二、森本淳
  • Industrial Property Rights Type: 特許
  • Filing Date: 2019