自己と他者の動作データからの内部モデルの構築と行動則の獲得

• 研究領域: 人工知能と脳科学の対照と融合
• 研究課題/領域番号: 16H06565
• 研究種目: 新学術領域研究(研究領域提案型)
• 配分区分: 補助金
• 審査区分: 複合領域
• 研究機関: 京都大学 (2020-2021); 株式会社国際電気通信基礎技術研究所 (2016-2019)
• 研究代表者: 森本 淳 京都大学, 情報学研究科, 教授 (10505986)
• 研究期間 (年度): 2016-06-30 – 2021-03-31
• 研究課題ステータス: 完了 (2021年度)
• 配分額: 69,550千円 (直接経費: 53,500千円、間接経費: 16,050千円); 2020年度: 13,650千円 (直接経費: 10,500千円、間接経費: 3,150千円); 2019年度: 13,650千円 (直接経費: 10,500千円、間接経費: 3,150千円); 2018年度: 13,650千円 (直接経費: 10,500千円、間接経費: 3,150千円); 2017年度: 13,650千円 (直接経費: 10,500千円、間接経費: 3,150千円); 2016年度: 14,950千円 (直接経費: 11,500千円、間接経費: 3,450千円)
• キーワード: 強化学習 / モデル予測制御 / ヒューマノイドロボット / 非線形最適制御 / ロボティクス / 機械学習

研究成果の概要

脳に学んだ計算原理に基づいて自己や他者の動作データから身体や外界の内部モデルを構築するロボット学習アルゴリズムの開発をおこなった．脳の階層的な制御システムを参考に，上位階層において予測に基づく最適化をおこなうことにより多様な動作目的にあわせた制御器を導出することを可能としながら，中間の階層において観測した人の動作データからパターン生成器を構成，動作生成の探索範囲を誘導，下位階層においては短い制御周期での計算が可能な反射的な行動則を導入することを提案，ヒト型ロボットモデルにおいてその実装を達成した．

研究成果の学術的意義や社会的意義

人工知能を用いた画像や音声の認識に関しては飛躍的にその性能が向上している一方で，すばやい身のこなしや，器用な物体の操りなど，ロボットが備える動作生成のための人工知能についてはいまだ人間の方がはるかに高い能力を持つ．特にロボットなど実世界で大量データを取得することが現実的でない応用においては、人間のように限られたサンプル（経験）から学習し目的とする動作を生成する方法が求められている．本研究では, 脳の階層的な学習制御システムを参考に，上記を実現する方法論の開発を目指した．ロボットが実環境で学習し多様な運動を実時間で生成可能となれば，日常生活においてもロボットが人を支える存在となり得る．

研究成果

• [国際共同研究] ヨージェフ・ステファン研究所(スロベニア)
• [国際共同研究] ヨージェフ・ステファン研究所(スロベニア)
• [国際共同研究] ヨージェフ・ステファン研究所(スロベニア)
• [国際共同研究] Jozef Stefan Institute(スロベニア)
• [雑誌論文] Implicit Contact Dynamics Modeling With Explicit Inertia Matrix Representation for Real-Time, Model-Based Control in Physical Environment (2022)
  • 著者名/発表者名: Takeshi D. Itoh, Koji Ishihara, Jun Morimoto
  • 雑誌名: Neural Computation 巻: 34 号: 2 ページ: 360-377
  • DOI: 10.1162/neco_a_01465
  • 査読あり / オープンアクセス
• [雑誌論文] Deep learning, reinforcement learning, and world models (2022)
  • 著者名/発表者名: Yutaka Matsuo, Yann LeCun, Maneesh Sahani, Doina Precup, David Silver, Masashi Sugiyama, Eiji Uchibe, Jun Morimoto
  • 雑誌名: Neural Networks 巻: 152 ページ: 267-275
  • DOI: 10.1016/j.neunet.2022.03.037
  • 査読あり / オープンアクセス / 国際共著
• [雑誌論文] Composing an Assistive Control Strategy Based on Linear Bellman Combination From Estimated User's Motor Goal (2021)
  • 著者名/発表者名: Furukawa Jun-ichiro、Morimoto Jun
  • 雑誌名: IEEE Robotics and Automation Letters 巻: 6 号: 2 ページ: 1051-1058
  • DOI: 10.1109/lra.2021.3051562
  • 査読あり / オープンアクセス
• [雑誌論文] A Collaborative Filtering Approach Toward Plug-and-Play Myoelectric Robot Control (2021)
  • 著者名/発表者名: Jun-ichiro Furukawa, Shinya Chiyohara, Tatsuya Teramae, Asuka Takai, Jun Morimoto
  • 雑誌名: IEEE Transactions on Human-Machine Systems 巻: 51 号: 5 ページ: 514-523
  • DOI: 10.1109/thms.2021.3098115
  • 査読あり / オープンアクセス
• [雑誌論文] Parallel and hierarchical neural mechanisms for adaptive and predictive behavioral control (2021)
  • 著者名/発表者名: Tom Macpherson, Masayuki Matsumoto, Hiroaki Gomi, Jun Morimoto, Eiji Uchibe, Takatoshi Hikida
  • 雑誌名: Neural Networks 巻: 144 ページ: 507-521
  • DOI: 10.1016/j.neunet.2021.09.009
  • 査読あり / オープンアクセス
• [雑誌論文] 全身のダイナミクスを考慮した最適制御 (2021)
  • 著者名/発表者名: 石原 弘二, 森本 淳
  • 雑誌名: 日本ロボット学会誌 巻: 39 号: 7 ページ: 597-600
  • DOI: 10.7210/jrsj.39.597
  • NAID: 130008083625
  • ISSN: 0289-1824, 1884-7145
• [雑誌論文] Phase portraits as movement primitives for fast humanoid robot controls (2020)
  • 著者名/発表者名: Guilherme Maeda, Okan Koc, Jun Morimoto
  • 雑誌名: Neural Networks 巻: 129 ページ: 109-122
  • DOI: 10.1016/j.neunet.2020.04.007
  • 査読あり / 国際共著
• [雑誌論文] Training of deep neural networks for the generation of dynamic movement primitives (2020)
  • 著者名/発表者名: Rok Pathic, Barry Ridge, Andrej Gams, Jun Morimoto, Ales Ude
  • 雑誌名: Neural Networks 巻: 127 ページ: 121-131
  • DOI: 10.1016/j.neunet.2020.04.010
  • 査読あり / オープンアクセス / 国際共著
• [雑誌論文] Quaternion-Based Trajectory Optimization of Human Postures for Inducing Target Muscle Activation Patterns (2020)
  • 著者名/発表者名: Tatsuya Teramae, Takamitsu Matsubara, Tomoyuki Noda, Jun Morimoto
  • 雑誌名: IEEE Robotics and Automation Letters 巻: 5 号: 4 ページ: 6607-6614
  • DOI: 10.1109/lra.2020.3015460
  • 査読あり / オープンアクセス
• [雑誌論文] Stable control of force, position, and stiffness for robot joints powered via pneumatic muscles (2019)
  • 著者名/発表者名: Barkan UGURLU,Paolo FORNI,Corinne DOPPMANN,Emre SARIYILIZ,Jun MORIMOTO
  • 雑誌名: IEEE Transactions on Industrial Informatics 巻: 15 号: 12 ページ: 6270-6279
  • DOI: 10.1109/tii.2019.2916228
  • 査読あり / 国際共著
• [雑誌論文] Assistive arm-exoskeleton control based on human muscular manipulability (2019)
  • 著者名/発表者名: Tadej PETRIC,Luka PETERNEL,Jun MORIMOTO,Jan BABIC
  • 雑誌名: Frontiers in Neurorobotics 巻: 13
  • DOI: 10.3389/fnbot.2019.00030
  • 査読あり / オープンアクセス / 国際共著
• [雑誌論文] Design of physical user-robot interactions for model identification of soft actuators on exoskeleton robots (2019)
  • 著者名/発表者名: Masashi HAMAYA,Takamitsu MATSUBARA,Tatsuya TERAMAE,Tomoyuki NODA,Jun MORIMOTO
  • 雑誌名: International Journal of Robotics Research 巻: - 号: 1 ページ: 1-14
  • DOI: 10.1177/0278364919853618
  • 査読あり / オープンアクセス
• [雑誌論文] Full-body optimal control toward versatile and agile behaviors in a humanoid robot (2019)
  • 著者名/発表者名: Koji ISHIHARA,Takeshi D. ITOH,Jun MORIMOTO
  • 雑誌名: IEEE Robotics and Automation Letters 巻: 15 号: 1 ページ: 119-126
  • DOI: 10.1109/lra.2019.2947001
  • 査読あり / オープンアクセス
• [雑誌論文] 外骨格ロボットに搭載された空圧人工筋の協調同定 (2018)
  • 著者名/発表者名: 濱屋 政志、松原 崇充、森本 淳
  • 雑誌名: システム／制御／情報 巻: 62 号: 10 ページ: 423-428
  • DOI: 10.11509/isciesci.62.10_423
  • NAID: 130007632587
  • ISSN: 0916-1600, 2424-1806
  • 年月日: 2018-10-15
  • 査読あり / オープンアクセス
• [雑誌論文] 特集 社会性と脳 ヒト動作の模倣によるヒト型ロボット動作学習 (2018)
  • 著者名/発表者名: 森本淳
  • 雑誌名: 生体の科学 巻: 69 号: 1 ページ: 51-53
  • DOI: 10.11477/mf.2425200754
  • ISSN: 0370-9531, 1883-5503
  • 年月日: 2018-02-15
• [雑誌論文] Human-in-the-loop control and task learning for pneumatically actuated muscle based robots (2018)
  • 著者名/発表者名: Tatsuya TERAMAE,Koji ISHIHARA,Jan BABIC,Jun MORIMOTO,Erhan OZTOP
  • 雑誌名: Frontiers in Human-in-the-Loop Robot Control and Learning 巻: 12 ページ: 71-71
  • DOI: 10.3389/fnbot.2018.00071
  • 査読あり / オープンアクセス / 国際共著
• [雑誌論文] An optimal control strategy for hybrid actuator systems: Application to an artificial muscle with electric motor assist (2018)
  • 著者名/発表者名: Koji Ishihara, Jun Morimoto
  • 雑誌名: Neural Networks 巻: 99 ページ: 92-100
  • DOI: 10.1016/j.neunet.2017.12.010
  • 査読あり / オープンアクセス
• [雑誌論文] Skill learning and action recognition by arc-length dynamic movement primitives (2017)
  • 著者名/発表者名: T.Gaspar, B.Nemec, J.Morimoto, A.Ude
  • 雑誌名: Robotics and Autonomous Systems 巻: 100 ページ: 225-235
  • DOI: 10.1016/j.robot.2017.11.012
  • 査読あり / 国際共著
• [雑誌論文] Soft humanoid motor learning (2017)
  • 著者名/発表者名: Jun Morimoto
  • 雑誌名: Science Robotics 巻: 2 号: 13
  • DOI: 10.1126/scirobotics.aaq0989
  • 査読あり
• [学会発表] Computationally Affordable Hierarchical Framework for Humanoid Robot Control (2021)
  • 著者名/発表者名: Koji Ishihara, Jun Morimoto
  • 学会等名: 2021 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)
  • 国際学会
• [学会発表] MPC for humanoid control (2020)
  • 著者名/発表者名: Koji Ishihara, Jun Morimoto
  • 学会等名: Robotics Science and Systems (RSS) Workshop, Robotics Retrospectives
• [学会発表] 階層モデルを用いた人型ロボットの運動生成 (2020)
  • 著者名/発表者名: 石原弘二
  • 学会等名: 異分野融合ワークショップ「脳型情報処理によるロボットラーニングの技術革新」
  • 招待講演
• [学会発表] Motor learning algorithms (2019)
  • 著者名/発表者名: Jun MORIMOTO
  • 学会等名: Skolkovo Robotics 2019
  • 国際学会 / 招待講演
• [学会発表] Learning to write anywhere with spatial transformer image-to-motion encoder-decoder networks (2019)
  • 著者名/発表者名: Barry RIDGE,Rok PAHIC,Ales UDE,Jun MORIMOTO
  • 学会等名: IEEE International Conference on Robotics and Automation(ICRA2019)
  • 国際学会
• [学会発表] Exploiting human and robot muscle synergies for human-in-the-loop optimization of EMG-based assistive strategies (2019)
  • 著者名/発表者名: Masashi HAMAYA,Takamitsu MATSUBARA,Jun-ichiro FURUKAWA,Yuting SUN,Satoshi YAGI,Tatsuya TERAMAE,Tomoyuki NODA,Jun MORIMOTO
  • 学会等名: IEEE International Conference on Robotics and Automation(ICRA2019)
  • 国際学会
• [学会発表] Convolutional encoder-decoder networks for robust image-to-motion prediction (2019)
  • 著者名/発表者名: Barry RIDGE,Rok PAHIC,Ales UDE,Jun MORIMOTO
  • 学会等名: 28th International Conference on Robotics in Alpe-Adria-Danube Region(RAAD2019)
  • 国際学会
• [学会発表] 状態予測に基づくロボットの階層的な運動制御 (2019)
  • 著者名/発表者名: 森本淳
  • 学会等名: 第13回Motor Control研究会
  • 招待講演
• [学会発表] Model-based approaches to humanoid motor learning (2019)
  • 著者名/発表者名: Jun MORIMOTO
  • 学会等名: 5th CiNet Conference, Computation and Representation in Brains and Machines
  • 招待講演
• [学会発表] Estimating humerus head elevation in human shoulder joints via gaussian process regression (2018)
  • 著者名/発表者名: Sara HAMDAN,Erhan OZTOP,Jun-ichiro FURUKAWA,Jun MORIMOTO,Barkan UGURLU
  • 学会等名: Turkey Robotics Conference(TORK2018)
  • 国際学会
• [学会発表] Robotizing double-bar ankle-foot orthosis (2018)
  • 著者名/発表者名: Tomoyuki NODA,Asuka TAKAI,Tatsuya TERAMAE,Eiko HIROOKA,Kimitaka HASE,Jun MORIMOTO
  • 学会等名: IEEE International Conference on Robotics and Automation(ICRA2018)
  • 国際学会
• [学会発表] Deep encoder-decoder networks for mapping raw images to dynamic movement primitives (2018)
  • 著者名/発表者名: Rok PAHIC,Andrej GAMS,Ales UDE,Jun MORIMOTO
  • 学会等名: IEEE International Conference on Robotics and Automation(ICRA2018)
  • 国際学会
• [学会発表] Shoulder glenohumeral elevation estimation based on upper arm orientation (2018)
  • 著者名/発表者名: Sara HAMDAN,,Erhan OZTOP,Jun-ichiro FURUKAWA,,Jun MORIMOTO,Barkan UGURLU
  • 学会等名: 40th International Conference of the IEEE Engineering in Medicine and Biology Society
  • 国際学会
• [学会発表] Bayesian optimisation of exoskeleton design parameters (2018)
  • 著者名/発表者名: Daniel F.N. GORDON,Takamitsu MATSUBARA,Tomoyuki NODA,Tatsuya TERAMAE,Jun MORIMOTO,Sethu VIJAYAKUMAR
  • 学会等名: 7th IEEE RAS/EMBS International Conference on Biomedical Robotics and Biomechatronics（BioRob 2018）
  • 国際学会
• [学会発表] A data-driven approach for estimating human behavior with collaborative filtering (2018)
  • 著者名/発表者名: Jun-ichiro FURUKAWA,Jun MORIMOTO
  • 学会等名: Joint workshop of UCL-ICN, NTT, UCL-Gatsby, and AIBS
  • 国際学会
• [学会発表] Humanoid motor learning from observed human behaviors (2018)
  • 著者名/発表者名: Jun MORIMOTO
  • 学会等名: Joint Workshop of UCL-ICN,NTT,UCL-Gatsby,and AIBS
  • 国際学会
• [学会発表] Reinforcement learning of phase oscillators for fast adaptation to moving targets (2018)
  • 著者名/発表者名: Guilherme MAEDA,Okan KOC,Jun MORIMOTO
  • 学会等名: Conference on Robot Learning(CoRL2018)
  • 国際学会
• [学会発表] ユーザ嗜好に基づくEMGを用いた運動支援制御器のベイズ最適化 (2018)
  • 著者名/発表者名: 濱屋政志, 松原崇充, 古川淳一朗, 孫雨庭, 八木聡明, 寺前達也, 野田智之, 森本淳
  • 学会等名: 第19回計測自動制御学会システムインテグレーション部門講演会(SI2018)
• [学会発表] A forward and inverse optimal control framework to generate humanoid robot movements with hierarchical MPC (2017)
  • 著者名/発表者名: K.Ishihara,J.Furukawa, J.Morimoto
  • 学会等名: 3rd Multidisciplinary Conference on Reinforcement Learning and Decision Making(RLDM2017)
  • 国際学会
• [学会発表] Trajectory representation by nonlinear scaling of dynamic movement primitives (2016)
  • 著者名/発表者名: A.Ude, R.Vuga, B.Nemec, J.Morimoto
  • 学会等名: IEEE/RSJ International Conference on Intelligent Robots and Systems(IROS2016)
  • 国際学会
• [学会発表] ヒューマノイドロボットの運動学習 (2016)
  • 著者名/発表者名: 森本淳
  • 学会等名: 第16回Kフォーラムざっくばらんフォーラム「情報学からの価値創造」
  • 招待講演
• [学会発表] A hierarchical model predictive control approach to generate biped robot movements in real-time (2016)
  • 著者名/発表者名: K.Ishihara, J.Morimoto
  • 学会等名: IEEE International Conference on Simulation, Modeling, and Programming for Autonomous Robots(SIMPAR2016) Workshop
  • 国際学会
• [図書] これからの強化学習 「高次元・実環境における強化学習」 (2016)
  • 著者名/発表者名: 森本淳、杉本徳和
  • 総ページ数: 9
  • 出版者: 森北出版
  • ISBN: 4627880316
• [産業財産権] ロボット制御装置、ロボット制御方法、および、プログラム (2021)
  • 発明者名: 石原 弘二、森本 淳
  • 権利者名: 石原 弘二、森本 淳
  • 産業財産権種類: 特許
  • 産業財産権番号: 2021-096353
  • 出願年月日: 2021
• [産業財産権] 制御システム (2019)
  • 発明者名: 伊藤健史、石原弘二、森本淳
  • 権利者名: 伊藤健史、石原弘二、森本淳
  • 産業財産権種類: 特許
  • 出願年月日: 2019