• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

間欠制御と強化学習を統合した姿勢・歩行運動制御とその障害の動的モデル構築

公募研究

研究領域非線形発振現象を基盤としたヒューマンネイチャーの理解
研究課題/領域番号 16H01614
研究種目

新学術領域研究(研究領域提案型)

配分区分補助金
審査区分 複合領域
研究機関大阪大学

研究代表者

野村 泰伸  大阪大学, 基礎工学研究科, 教授 (50283734)

研究期間 (年度) 2016-04-01 – 2018-03-31
研究課題ステータス 完了 (2017年度)
配分額 *注記
5,460千円 (直接経費: 4,200千円、間接経費: 1,260千円)
2017年度: 2,600千円 (直接経費: 2,000千円、間接経費: 600千円)
2016年度: 2,860千円 (直接経費: 2,200千円、間接経費: 660千円)
キーワード運動制御 / 間欠制御 / 直立姿勢 / 強化学習 / 生体シミュレーション / 計算論的神経科学 / 姿勢制御 / 歩行制御 / ニューロメカニクス / 生体生命情報学 / 生体医工学
研究実績の概要

我々はヒト直立姿勢・二足歩行に関して、身体関節の柔軟性を確保しつつ姿勢や運動を安定化する神経制御メカニズムとして、従来仮説である持続的スティッフネス制御とは異なる間欠制御仮説を提唱している。本研究はヒト直立姿勢の間欠制御の妥当性を示すことを目指した。本年度は、前年度に引き続き、倒立単振子モデルの姿勢を安定化するむだ時間を伴うフィードバック制御器の強化学習による獲得を対象とし、獲得される制御戦略および、安定化された立位姿勢のゆらぎ特性が、報酬関数および系のプロセスノイズ等にどのように依存するかを解析した。強化学習には一般的なQ学習を用いたが、むだ時間があるため、学習された制御器の出力の大きさが適当な条件を満たさない場合には立位姿勢の不安定化(時間遅れ誘引性不安定化)が発生し、系の動態(遷移確率行列)が急激に変化し得るため、一般的な線形システムの最適制御とは全く異なる制御器の獲得が生じることが明らかになった。報酬関数としては、(i)フィードバックトルクによる力学的エネルギーの消費、および(ii)振子の直立姿勢からの乖離というトレードオフの関係にある2つの事象に対して負の報酬を設定し、これらの重みを付き和を報酬関数とした。大きなフィードバックトルクは、エネルギー消費の増加と上述の不安定化を招くこと、フィードバックトルクが零の場合は、エネルギー消費が零であるにも関わらず状態空間内の特定の場所(安定多様体の近傍)では振子の状態は直立姿勢に接近する性質があることに起因して、振子の状態に非線形に依存して、フィードバックトルクを大きくしたり小さくしたり(零にする)ような、間欠制御器が獲得されることが明らかになった。さらに、学習の収束過程を力学系として見た場合、系には複数のアトラクタが存在し、学習の初期状態あるいはプロセスノイズの強度に依存して、異なる制御器が獲得されることが明らかになった。

現在までの達成度 (段落)

29年度が最終年度であるため、記入しない。

今後の研究の推進方策

29年度が最終年度であるため、記入しない。

報告書

(2件)
  • 2017 実績報告書
  • 2016 実績報告書
  • 研究成果

    (15件)

すべて 2017 2016 その他

すべて 国際共同研究 (2件) 雑誌論文 (4件) (うち国際共著 3件、 査読あり 4件、 オープンアクセス 3件、 謝辞記載あり 3件) 学会発表 (9件) (うち国際学会 3件、 招待講演 2件)

  • [国際共同研究] Italian Institute of Technology(イタリア)

    • 関連する報告書
      2017 実績報告書
  • [国際共同研究] Italian Institute of Technology(Italy)

    • 関連する報告書
      2016 実績報告書
  • [雑誌論文] Reinforcement learning for stabilizing an inverted pendulum naturally leads to intermittent feedback control as in human quiet standing2016

    • 著者名/発表者名
      Kenjiro Michimoto, Yasuyuki Suzuki, Ken Kiyono, Yasushi Kobayashi, Pietro Morasso, Taishin Nomura
    • 雑誌名

      Proceedings of the Annual International Conference of the IEEE Engineering in Medicine and Biology Society, EMBS 2016

      巻: - ページ: 37-40

    • DOI

      10.1109/embc.2016.7590634

    • 関連する報告書
      2016 実績報告書
    • 査読あり / オープンアクセス / 国際共著 / 謝辞記載あり
  • [雑誌論文] Postural flexibility during quiet standing in healthy elderly and patients with Parkinson's disease2016

    • 著者名/発表者名
      Kazuyuki Matsuda, Yasuyuki Suzuki, Naoya Yoshikawa, Tomohisa Yamamoto, Ken Kiyono, Takao Tanahashi, Takuyuki Endo, Kei Fukada, Kunihiko Nomura, Saburo Sakoda, Taishin Nomura
    • 雑誌名

      Proceedings of the Annual International Conference of the IEEE Engineering in Medicine and Biology Society, EMBS 2016

      巻: - ページ: 29-32

    • DOI

      10.1109/embc.2016.7590632

    • 関連する報告書
      2016 実績報告書
    • 査読あり / 国際共著 / 謝辞記載あり
  • [雑誌論文] The pedunculopontine tegmental nucleus as a motor and cognitive interface between the cerebellum and basal ganglia2016

    • 著者名/発表者名
      Fumika Mori, Ken-ichi Okada, Taishin Nomura, Yasushi Kobayashi
    • 雑誌名

      Frontiers in Neuroanatomy

      巻: 10 ページ: 109-109

    • DOI

      10.3389/fnana.2016.00109

    • 関連する報告書
      2016 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Dynamic determinants of the uncontrolled manifold during human quiet stance2016

    • 著者名/発表者名
      Yasuyuki Suzuki, Hiroki Morimoto, Ken Kiyono, Pietro G Morasso, Taishin Nomura
    • 雑誌名

      Frontiers in Human Neuroscience

      巻: 10 ページ: 618-618

    • DOI

      10.3389/fnhum.2016.00618

    • 関連する報告書
      2016 実績報告書
    • 査読あり / オープンアクセス / 国際共著 / 謝辞記載あり
  • [学会発表] ヒト直立姿勢と二足歩行のニューロメカニクス2017

    • 著者名/発表者名
      野村泰伸
    • 学会等名
      日本機械学会第30回バイオエンジニアリング講演会
    • 関連する報告書
      2017 実績報告書
    • 招待講演
  • [学会発表] Intermittent control during stance and gait2017

    • 著者名/発表者名
      Taishin Nomura
    • 学会等名
      International Symposium on BrainKorea 21 PLUS
    • 関連する報告書
      2017 実績報告書
    • 国際学会 / 招待講演
  • [学会発表] 移動床面上における静止立位姿勢動揺および脳波の計測とその数理モデリング2017

    • 著者名/発表者名
      水谷暢、鈴木康之、野村泰伸
    • 学会等名
      Motor Control研究会
    • 関連する報告書
      2017 実績報告書
  • [学会発表] ドリフトとマイクロサッケードの協調的な相反関係2017

    • 著者名/発表者名
      小澤誠、野村泰伸
    • 学会等名
      日本生体医工学会・生体医工学シンポジウム2017
    • 関連する報告書
      2017 実績報告書
  • [学会発表] 固視微動におけるマイクロサッケートとドリフトの相反的振舞い : ヒト眼球姿勢保持の神経制御メカニズム2017

    • 著者名/発表者名
      小澤誠、野村泰伸
    • 学会等名
      Motor Control研究会
    • 関連する報告書
      2017 実績報告書
  • [学会発表] ヒト立位姿勢・歩行・スティックバランス制御系の運動揺らぎに見られる臨界的挙動の数理モデル化2016

    • 著者名/発表者名
      野村泰伸
    • 学会等名
      計測自動制御学会ライフエンジニアリング部門シンポジウム2016
    • 発表場所
      大阪国際交流センター(大阪府・大阪市)
    • 年月日
      2016-11-03
    • 関連する報告書
      2016 実績報告書
  • [学会発表] An intermittent feedback controller for stabilizing human upright posture can be acquired through reinforcement learning2016

    • 著者名/発表者名
      Kenjiro Michimoto, Yasuyuki Suzuki, Ken Kiyono, Taishin Nomura
    • 学会等名
      計測自動制御学会ライフエンジニアリング部門シンポジウム2016
    • 発表場所
      大阪国際交流センター(大阪府・大阪市)
    • 年月日
      2016-11-03
    • 関連する報告書
      2016 実績報告書
  • [学会発表] ntermittency and loss of intermittency during human motor control in health and disease2016

    • 著者名/発表者名
      aishin Nomura, Yasuyuki Suzuki, Fu Chunjiang, Ken Kiyono
    • 学会等名
      8th International Workshop on Biosignal Interpretation
    • 発表場所
      大阪国際交流センター(大阪府・大阪市)
    • 年月日
      2016-11-01
    • 関連する報告書
      2016 実績報告書
    • 国際学会
  • [学会発表] Reinforcement learning for stabilizing an inverted pendulum naturally leads to intermittent feedback control as in human quiet standing2016

    • 著者名/発表者名
      Kenjiro Michimoto, Yasuyuki Suzuki, Ken Kiyono, Yasushi Kobayashi, Pietro Morasso, Taishin Nomura
    • 学会等名
      38th Annual International Conference of the IEEE Engineering in Medicine and Biology Society, EMBC 2016
    • 発表場所
      Disney's Contemporary Resort (Orlando, USA)
    • 年月日
      2016-08-16
    • 関連する報告書
      2016 実績報告書
    • 国際学会

URL: 

公開日: 2016-04-26   更新日: 2022-08-05  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi