| 研究領域 | 身体－脳の機能不全を克服する潜在的適応力のシステム論的理解 |
|---|
| 研究課題/領域番号 |
20H05458
|
|---|
| 研究機関 | 東北大学 |
|---|
研究代表者 |
林部 充宏 東北大学, 工学研究科, 教授 (40338934)
|
|---|
| 研究期間 (年度) |
2020-04-01 – 2022-03-31
|
| キーワード | 運動適応 / 運動学習 / 運動シナジー / 深層学習 / 強化学習 / 超適応の科学 |
|---|
| 研究実績の概要 |
筋の活性化、関節トルク、関節運動の間の複雑で非線形な動的関係性のため、人間の動きを制御することは中枢神経系（Central Nervous System, CNS）にとって困難な課題である。実際、神経科学分野の研究者は、一連の制御要素の中でタスクを整理・単純化する上位の運動シナジー機構が中枢神経系の中に存在することを証明してきた。
本研究では強化学習 (Reinforcement Learning、RL) に深層学習技術を適用することで、深層強化学習 (DeepRL) は複雑な学習問題を克服するための有望なモデルフリーのアプローチを提供する。これによりロボットは環境との相互作用から直接学習することが可能になる。深層強化学習はロボット工学研究において注目度が高まっており、高次元ヒューマノイドロボットの最適な学習方針を得る上での強みを示している。しかし現在の DRL アルゴリズムでは，協調的運動を考慮していないため，不自然でぎこちない制御結果になりがちであることが指摘されている。
本研究では高次元 7 自由度アームを用いた多方向のリーチングタスクに深層強化学習を適用し、学習過程における運動誤差、エネルギー、運動シナジーの発生の関係を示すことで運動シナジーを活用するメカニズムを明らかにした。報酬関数に関節間の相乗効果を明示していないにもかかわらず、学習過程では、全次元のアームモデルであっても、相乗現象が自然に発生し最適解に収束していくという、人間の学習過程と同じような状況が見られた。シナジーの採用は、運動制御における単位エネルギーあたりの運動性能である誤差エネルギー基準を最適化するための手段であると考えられる。これは限られたエネルギー資源を考慮し、与えられた環境下でのタスク実行において良い生存戦略であると考えられる。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
高次元 7 自由度アームを用いた多方向のリーチングタスクに深層強化学習を適用し、学習過程における運動誤差、エネルギー、運動シナジーの発生の関係を示すことで運動シナジーを活用するメカニズムを明らかにすることができたため、順調に進展している。
|
| 今後の研究の推進方策 |
前年度の研究では高次元 7 自由度アームを用いた多方向のリーチングタスクに深層強化学習を適用し、学習過程における運動誤差，エネルギー、運動シナジーの発生の関係を調査した。学習が進むにつれて運動シナジーを活用する運動に変化していく様を多方向リーチングの深層強化学習の枠組みで再現することができた。次年度も引き続きシナジーを生み出すメカニズムの背景に何があるのか調査していく予定である。また本年度では前提条件や事前知識がゼロの場合からの学習に加え、一度獲得したシナジーをいかに一般化して再適応するかについてのパラダイムの提案を行う。シナジーの汎化学習は生物や人間が行っている学習プロセスであるが、シナジーの汎化学習についての取り組みはこれまであまり行われていないため、本年度の研究でシナジーの汎化学習について取り組む。
|
