解剖学的神経筋骨格モデルに基づく二足歩行生成の深層強化学習とその人類学応用

2020 Fiscal Year Annual Research Report

• Project/Area Number: 20H03331
• Research Institution: The University of Tokyo
• Principal Investigator: 荻原 直道 東京大学, 大学院理学系研究科(理学部), 教授 (70324605)
• Co-Investigator(Kenkyū-buntansha): 村井 昭彦 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (90637274) ; 伊藤 幸太 大阪大学, 人間科学研究科, 助教 (20816540)
• Project Period (FY): 2020-04-01 – 2023-03-31
• Keywords: 歩行シミュレーション / 深層強化学習 / 歩行生成 / 順動力学 / 足部モデル

Outline of Annual Research Achievements

本研究では、ヒトの精密3次元神経筋骨格モデルを構築し、深層強化学習を活用してヒトの実3次元歩行運動を相応の精度で再現できる二足歩行運動の動力学的シミュレーションを構築する。そしてヒトの二足歩行運動の神経情報処理と、ヒトの身体構造に内在する歩行生成知能を構成論的に読み解くとともに、その人類学への応用可能性を示すことを目指している。
本年は、深層強化学習に基づく3次元筋骨格モデルの静止立位制御を試みた。筋骨格モデルは、Stanford大学で開発された7節片側11筋からなる3次元筋骨格モデルを用いた。股関節が2自由度、膝関節と足関節がそれぞれ1自由度を有するため、この筋骨格モデルの自由度は14である。筋には長さ―力関係、速度―力関係といった筋の力学特性が考慮されており、神経系からの運動指令（0～1の連続量）により筋張力を生成する。一方、神経系には、前庭器官、関節受容器、足裏触覚受容器、筋紡錘、ゴルジ腱器官が感知する信号に対応する計97の感覚情報が入力される。本研究では、97の感覚情報から22の運動指令を出力する深層ニューラルネットワークを構築し、Deep Deterministic Policy Gradient法に基づいて運動制御の深層強化学習を試みた。その結果、適切な報酬関数を設定することで、静止立位制御を実現することが可能となった。
また、解剖学的に精密なヒト足部の3次元有限要素モデルを構築した。足部を構成する骨と足部表面の形状情報をCT断層画像から取得した。骨は線形弾性材料でモデル化し、関節軟骨部は接触を考慮した。軟組織と皮膚は超弾性Ogden材料で、靭帯と足底腱膜は張力のみ生成するバネ要素としてモデル化した。各物性値は文献に基づいて決定した。本モデルを用いて、足部と床面との力学的相互作用を計算機内に再現することが可能となった。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

深層強化学習を用いた3次元筋骨格モデルの運動制御の枠組みと、解剖学的に精密なヒト足部の3次元有限要素モデルを一通り構築することができたから。

Strategy for Future Research Activity

今後は、構築した3次元筋骨格モデルの静止立位制御を基礎として、深層強化学習に基づく二足歩行運動の再現を試みる。具体的には、報酬関数とモデルの初期条件を変更することで、二足歩行の生成を目指す。そして、構築されたニューラルネットワークを解析することにより、どの感覚入力が各筋の活動に影響を及ぼしているのかを明らかにし、姿勢制御・歩行制御の神経回路網の構造を検討する。また、外乱に対して歩行運動がどのように調整されているのかを既設のスプリットベルトトレッドミルを用いた外乱歩行実験により観察し、その結果に基づいて深層強化学習法を改良する。
さらに、有限要素法を用いて構築したヒト足部の筋骨格モデルを用いて、ヒトの二足歩行中の足部と床面との力学的相互作用を詳細にシミュレートし、ヒトの足部構造に内在する歩行知能の解明を目指す。