• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Modeling postural and gait dynamics using intermittent control and reinforcement learning

Publicly Offered Research

Project AreaNon-linear Neuro-oscillology: Towards Integrative Understanding of Human Nature
Project/Area Number 16H01614
Research Category

Grant-in-Aid for Scientific Research on Innovative Areas (Research in a proposed research area)

Allocation TypeSingle-year Grants
Review Section Complex systems
Research InstitutionOsaka University

Principal Investigator

野村 泰伸  大阪大学, 基礎工学研究科, 教授 (50283734)

Project Period (FY) 2016-04-01 – 2018-03-31
Project Status Completed (Fiscal Year 2017)
Budget Amount *help
¥5,460,000 (Direct Cost: ¥4,200,000、Indirect Cost: ¥1,260,000)
Fiscal Year 2017: ¥2,600,000 (Direct Cost: ¥2,000,000、Indirect Cost: ¥600,000)
Fiscal Year 2016: ¥2,860,000 (Direct Cost: ¥2,200,000、Indirect Cost: ¥660,000)
Keywords運動制御 / 間欠制御 / 直立姿勢 / 強化学習 / 生体シミュレーション / 計算論的神経科学 / 姿勢制御 / 歩行制御 / ニューロメカニクス / 生体生命情報学 / 生体医工学
Outline of Annual Research Achievements

我々はヒト直立姿勢・二足歩行に関して、身体関節の柔軟性を確保しつつ姿勢や運動を安定化する神経制御メカニズムとして、従来仮説である持続的スティッフネス制御とは異なる間欠制御仮説を提唱している。本研究はヒト直立姿勢の間欠制御の妥当性を示すことを目指した。本年度は、前年度に引き続き、倒立単振子モデルの姿勢を安定化するむだ時間を伴うフィードバック制御器の強化学習による獲得を対象とし、獲得される制御戦略および、安定化された立位姿勢のゆらぎ特性が、報酬関数および系のプロセスノイズ等にどのように依存するかを解析した。強化学習には一般的なQ学習を用いたが、むだ時間があるため、学習された制御器の出力の大きさが適当な条件を満たさない場合には立位姿勢の不安定化(時間遅れ誘引性不安定化)が発生し、系の動態(遷移確率行列)が急激に変化し得るため、一般的な線形システムの最適制御とは全く異なる制御器の獲得が生じることが明らかになった。報酬関数としては、(i)フィードバックトルクによる力学的エネルギーの消費、および(ii)振子の直立姿勢からの乖離というトレードオフの関係にある2つの事象に対して負の報酬を設定し、これらの重みを付き和を報酬関数とした。大きなフィードバックトルクは、エネルギー消費の増加と上述の不安定化を招くこと、フィードバックトルクが零の場合は、エネルギー消費が零であるにも関わらず状態空間内の特定の場所(安定多様体の近傍)では振子の状態は直立姿勢に接近する性質があることに起因して、振子の状態に非線形に依存して、フィードバックトルクを大きくしたり小さくしたり(零にする)ような、間欠制御器が獲得されることが明らかになった。さらに、学習の収束過程を力学系として見た場合、系には複数のアトラクタが存在し、学習の初期状態あるいはプロセスノイズの強度に依存して、異なる制御器が獲得されることが明らかになった。

Research Progress Status

29年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

29年度が最終年度であるため、記入しない。

Report

(2 results)
  • 2017 Annual Research Report
  • 2016 Annual Research Report
  • Research Products

    (15 results)

All 2017 2016 Other

All Int'l Joint Research (2 results) Journal Article (4 results) (of which Int'l Joint Research: 3 results,  Peer Reviewed: 4 results,  Open Access: 3 results,  Acknowledgement Compliant: 3 results) Presentation (9 results) (of which Int'l Joint Research: 3 results,  Invited: 2 results)

  • [Int'l Joint Research] Italian Institute of Technology(イタリア)

    • Related Report
      2017 Annual Research Report
  • [Int'l Joint Research] Italian Institute of Technology(Italy)

    • Related Report
      2016 Annual Research Report
  • [Journal Article] Reinforcement learning for stabilizing an inverted pendulum naturally leads to intermittent feedback control as in human quiet standing2016

    • Author(s)
      Kenjiro Michimoto, Yasuyuki Suzuki, Ken Kiyono, Yasushi Kobayashi, Pietro Morasso, Taishin Nomura
    • Journal Title

      Proceedings of the Annual International Conference of the IEEE Engineering in Medicine and Biology Society, EMBS 2016

      Volume: - Pages: 37-40

    • DOI

      10.1109/embc.2016.7590634

    • Related Report
      2016 Annual Research Report
    • Peer Reviewed / Open Access / Int'l Joint Research / Acknowledgement Compliant
  • [Journal Article] Postural flexibility during quiet standing in healthy elderly and patients with Parkinson's disease2016

    • Author(s)
      Kazuyuki Matsuda, Yasuyuki Suzuki, Naoya Yoshikawa, Tomohisa Yamamoto, Ken Kiyono, Takao Tanahashi, Takuyuki Endo, Kei Fukada, Kunihiko Nomura, Saburo Sakoda, Taishin Nomura
    • Journal Title

      Proceedings of the Annual International Conference of the IEEE Engineering in Medicine and Biology Society, EMBS 2016

      Volume: - Pages: 29-32

    • DOI

      10.1109/embc.2016.7590632

    • Related Report
      2016 Annual Research Report
    • Peer Reviewed / Int'l Joint Research / Acknowledgement Compliant
  • [Journal Article] The pedunculopontine tegmental nucleus as a motor and cognitive interface between the cerebellum and basal ganglia2016

    • Author(s)
      Fumika Mori, Ken-ichi Okada, Taishin Nomura, Yasushi Kobayashi
    • Journal Title

      Frontiers in Neuroanatomy

      Volume: 10 Pages: 109-109

    • DOI

      10.3389/fnana.2016.00109

    • Related Report
      2016 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Dynamic determinants of the uncontrolled manifold during human quiet stance2016

    • Author(s)
      Yasuyuki Suzuki, Hiroki Morimoto, Ken Kiyono, Pietro G Morasso, Taishin Nomura
    • Journal Title

      Frontiers in Human Neuroscience

      Volume: 10 Pages: 618-618

    • DOI

      10.3389/fnhum.2016.00618

    • Related Report
      2016 Annual Research Report
    • Peer Reviewed / Open Access / Int'l Joint Research / Acknowledgement Compliant
  • [Presentation] ヒト直立姿勢と二足歩行のニューロメカニクス2017

    • Author(s)
      野村泰伸
    • Organizer
      日本機械学会第30回バイオエンジニアリング講演会
    • Related Report
      2017 Annual Research Report
    • Invited
  • [Presentation] Intermittent control during stance and gait2017

    • Author(s)
      Taishin Nomura
    • Organizer
      International Symposium on BrainKorea 21 PLUS
    • Related Report
      2017 Annual Research Report
    • Int'l Joint Research / Invited
  • [Presentation] 移動床面上における静止立位姿勢動揺および脳波の計測とその数理モデリング2017

    • Author(s)
      水谷暢、鈴木康之、野村泰伸
    • Organizer
      Motor Control研究会
    • Related Report
      2017 Annual Research Report
  • [Presentation] ドリフトとマイクロサッケードの協調的な相反関係2017

    • Author(s)
      小澤誠、野村泰伸
    • Organizer
      日本生体医工学会・生体医工学シンポジウム2017
    • Related Report
      2017 Annual Research Report
  • [Presentation] 固視微動におけるマイクロサッケートとドリフトの相反的振舞い : ヒト眼球姿勢保持の神経制御メカニズム2017

    • Author(s)
      小澤誠、野村泰伸
    • Organizer
      Motor Control研究会
    • Related Report
      2017 Annual Research Report
  • [Presentation] ヒト立位姿勢・歩行・スティックバランス制御系の運動揺らぎに見られる臨界的挙動の数理モデル化2016

    • Author(s)
      野村泰伸
    • Organizer
      計測自動制御学会ライフエンジニアリング部門シンポジウム2016
    • Place of Presentation
      大阪国際交流センター(大阪府・大阪市)
    • Year and Date
      2016-11-03
    • Related Report
      2016 Annual Research Report
  • [Presentation] An intermittent feedback controller for stabilizing human upright posture can be acquired through reinforcement learning2016

    • Author(s)
      Kenjiro Michimoto, Yasuyuki Suzuki, Ken Kiyono, Taishin Nomura
    • Organizer
      計測自動制御学会ライフエンジニアリング部門シンポジウム2016
    • Place of Presentation
      大阪国際交流センター(大阪府・大阪市)
    • Year and Date
      2016-11-03
    • Related Report
      2016 Annual Research Report
  • [Presentation] ntermittency and loss of intermittency during human motor control in health and disease2016

    • Author(s)
      aishin Nomura, Yasuyuki Suzuki, Fu Chunjiang, Ken Kiyono
    • Organizer
      8th International Workshop on Biosignal Interpretation
    • Place of Presentation
      大阪国際交流センター(大阪府・大阪市)
    • Year and Date
      2016-11-01
    • Related Report
      2016 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Reinforcement learning for stabilizing an inverted pendulum naturally leads to intermittent feedback control as in human quiet standing2016

    • Author(s)
      Kenjiro Michimoto, Yasuyuki Suzuki, Ken Kiyono, Yasushi Kobayashi, Pietro Morasso, Taishin Nomura
    • Organizer
      38th Annual International Conference of the IEEE Engineering in Medicine and Biology Society, EMBC 2016
    • Place of Presentation
      Disney's Contemporary Resort (Orlando, USA)
    • Year and Date
      2016-08-16
    • Related Report
      2016 Annual Research Report
    • Int'l Joint Research

URL: 

Published: 2016-04-26   Modified: 2022-08-05  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi