2019 Fiscal Year Annual Research Report
環境モデルや振動子モデルに依存しない環境適応学習による多様な運動の発現機序
| Project/Area Number |
18H01399
|
|---|
| Research Institution | Tohoku University |
|---|
Principal Investigator |
林部 充宏 東北大学, 工学研究科, 教授 (40338934)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
大脇 大 東北大学, 工学研究科, 准教授 (40551908)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | 深層学習 / 運動学習 / バランス制御 / 筋電位 / 運動シナジー |
|---|
| Outline of Annual Research Achievements |
本年度は環境モデルに依存しない環境適応学習における運動の発現機序を明らかにするために、モデルフリーの深層強化学習を用いて運動パターンの生成がどのように起きているか詳細に調べた。これまでの計算論的神経科学では、何らかの評価関数を最小にする（最適化）するような計算方法が提案されているが、実際に最適化計算で人間らしい動きも生成できるが、それは人間がある指針を最適にするように動いていることを示すが、その数学的最適化計算には環境と身体の数学的モデルが事前に必要となってしまうため、環境モデルがすでに既知であることを想定している。真の意味で未知の物理的環境下での運動学習の方法としての解決策やシナジー生成メカニズムを明らかにする必要があり、これまではどのような計算指針でシナジーが生成されるのかについて扱うものがほとんどなかった。本研究では多関節の歩行エージェントに対し、深層強化学習において運動学習を全探索的に行うとき、何が起きているかを調査し潜在的な計算指針がないかどうかを調べました。関節トルク入力スペースの時空間パターンを独立主成分分析で運動シナジーの発現度合いを各試行ごとに定量化することで、運動習熟度と運動シナジーの発現度合いの連動性を調べた。学習が進むにつれて変化している歩行運動の運動シナジーの発現度合いを調べると、タスク習熟度が進むにつれて運動シナジーの発現がおきていることがわかった。また2種類の異なる深層学習アルゴリズムで調査をすると、より効率的に報酬を高める結果が出たSACの学習結果の場合の方がより多くの運動シナジーの発現が起きていることがわかった。また運動シナジーの発現度合いがエネルギーあたりのパフォーマンス（歩行速度）と高い相関関係にあることがわかった。すなわちエネルギーあたりのパフォーマンスを効率良く高めるための必要条件として運動シナジーが採用されていることが示唆された。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究での一番の肝となる環境適応学習における運動の発現機序の解明に関して、深層学習において効率的に学習しているときほど、歩行タスク習熟度が進むにつれて運動シナジーの発現がおきていることが明らかになったのは大いに意義があると考えている。また運動シナジーの発現度合いがエネルギーあたりの運動パフォーマンスと高い相関関係にあることがわかった。同時並行で他の運動でもそのような現象が起きているかの準備と人間の運動計測でもその傾向がみられるかを検証するための準備を進めることができた。
|
| Strategy for Future Research Activity |
深層強化学習による運動学習タスクにおいて運動シナジーの発現プロセスが起きており、それがエネルギー当たりのパフォーマンスと高い相関を示したことは、何故人間や生物が運動シナジーを活用しているのかという問いの答えにつながるため科学的な意義が高いと考えられます。また工学的な応用としては現在の深層学習は膨大な計算コストを要するが、効率的な運動学習における潜在的な方策として運動シナジーを用いることができたら大幅な計算の効率化につなげることができるため、本研究は新しい深層強化運動学習アルゴリズムに向けて示唆に富む情報となることが期待される。
今後はバランス制御に関するアルゴリズム開発やバランス制御システムの実装も行っていく。
|
