Deep reinforcement learning for generation of bipedal locomotion based on anatomical neuromusculoskeletal models and its anthropological applications.

2023 Fiscal Year Final Research Report

• Project/Area Number: 20H03331
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Single-year Grants
• Section: 一般
• Review Section: Basic Section 45050:Physical anthropology-related
• Research Institution: The University of Tokyo
• Principal Investigator: Ogihara Naomichi 東京大学, 大学院理学系研究科(理学部), 教授 (70324605)
• Co-Investigator(Kenkyū-buntansha): 伊藤 幸太 大阪大学, 大学院人間科学研究科, 助教 (20816540) ; 叶賀 卓 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (40803903) ; 村井 昭彦 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 研究チーム長 (90637274)
• Project Period (FY): 2020-04-01 – 2023-03-31
• Keywords: 歩行シミュレーション / 深層強化学習 / 歩行生成 / 順動力学 / 足部モデル

Outline of Final Research Achievements

In this study, we constructed a dynamic simulation of bipedal locomotion capable of reproducing human actual 3D walking movements by utilizing a human 3D neuromusculoskeletal model and deep reinforcement learning. The musculoskeletal model employed in this research consisted of a deep neural network that outputs 22 muscle activations from 97 sensory inputs. We attempted deep reinforcement learning for bipedal locomotion based on the Deep Deterministic Policy Gradient method. As a result, although issues remain, it became possible to generate bipedal locomotion.
Additionally, we successfully constructed an anatomically precise 3D finite element model of the human foot. By utilizing kinematic data during human bipedal locomotion, we reproduced skeletal dynamics of the foot during walking within a computational environment.

Free Research Field

人類学

Academic Significance and Societal Importance of the Research Achievements

本研究の学術的・社会的意義は、ヒトの歩行生成メカニズムにかかわる様々な仮説を検証するプラットフォームの基礎を構築した点にある。具体的には、二足歩行の進化の道筋に構成論的に迫るための、「仮想進化シミュレーション」、高齢者における転倒リスクの増大メカニズムを検討する「仮想歩行障害シミュレーション」など歩行シミュレーションの実用化への道筋をつけた。