• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

完全オンライン型強化学習システムにおける時間と空間の分節化

研究課題

研究課題/領域番号 18K11473
研究種目

基盤研究(C)

配分区分基金
応募区分一般
審査区分 小区分61040:ソフトコンピューティング関連
研究機関大阪公立大学 (2022)
大阪府立大学 (2018-2021)

研究代表者

野津 亮  大阪公立大学, 大学院現代システム科学研究科, 教授 (40405345)

研究分担者 生方 誠希  大阪公立大学, 大学院情報学研究科, 准教授 (10755698)
本多 克宏  大阪公立大学, 大学院情報学研究科, 教授 (80332964)
研究期間 (年度) 2018-04-01 – 2023-03-31
研究課題ステータス 完了 (2022年度)
配分額 *注記
4,290千円 (直接経費: 3,300千円、間接経費: 990千円)
2020年度: 1,560千円 (直接経費: 1,200千円、間接経費: 360千円)
2019年度: 1,170千円 (直接経費: 900千円、間接経費: 270千円)
2018年度: 1,560千円 (直接経費: 1,200千円、間接経費: 360千円)
キーワード強化学習 / クラスタリング / 最適化アルゴリズム / 転移学習 / 学習と進化 / 進化計算 / ニューラルネットワーク / バンディットアルゴリズム / 自己組織化マップ / オンライン学習 / 事前学習 / オンライン型 / 認知モデル
研究成果の概要

成長型自己組織化マップを強化学習向けに改良し,学習効率を維持しながらも状態空間・状態遷移を教師無し学習で学習する手法を考案し,その有用性を湿すことができた.また,ハイパーパラメータの設定を適応的に大きく変更することでも,環境に適応できることを示した.さらに,最適化アルゴリズム手法の中でも優秀な差分進化に対し,いくつかの局所的環境を推定しながら手法を切り替える方法を提案し,性能を改善することができた.加えて,当初はあまり検討していなかった深層強化学習へ本研究で得られた知見を応用し,全く新しい深層強化学習システムを提案できた.

研究成果の学術的意義や社会的意義

本研究は強化学習が必要とする空間を統計学的に大量のデータを用いて獲得するのでは無く,幾何学的なミクロな観点から獲得したという意味で学術的な意義があると考えている.また,機械学習にとってハイパーパラメータの設定は大きな問題であるが,その適応的変化や並列学習で対応できることを明らかにしたことは,学術的にも産業応用を考えた上でも意義がある.さらに,ブラックボックス最適化アルゴリズムを発展させることは複雑化する社会問題など,ありとあらゆる最適化に貢献できることを意味しているので,社会的にも大きな意義がある.

報告書

(6件)
  • 2022 実績報告書   研究成果報告書 ( PDF )
  • 2021 実施状況報告書
  • 2020 実施状況報告書
  • 2019 実施状況報告書
  • 2018 実施状況報告書
  • 研究成果

    (29件)

すべて 2023 2022 2021 2020 2019 2018 その他

すべて 雑誌論文 (13件) (うち査読あり 13件、 オープンアクセス 2件) 学会発表 (13件) (うち招待講演 1件) 備考 (3件)

  • [雑誌論文] JADEにおける集団外への探索の追加2023

    • 著者名/発表者名
      MIYAHIRA Yuichi、IGUCHI Makishi、NOTSU Akira、HONDA Katsuhiro
    • 雑誌名

      知能と情報

      巻: 35 号: 1 ページ: 532-537

    • DOI

      10.3156/jsoft.35.1_532

    • ISSN
      1347-7986, 1881-7203
    • 年月日
      2023-02-15
    • 関連する報告書
      2022 実績報告書
    • 査読あり
  • [雑誌論文] Deep Reinforcement Learning Combined with Approximation of Number of State Experiences2022

    • 著者名/発表者名
      M. Iguchi, A. Notsu, K. Yasunaga, S. Ubukata, K. Honda
    • 雑誌名

      Proc. of 2022 International Conference on Fuzzy Theory and Its Applications

      巻: 1

    • NAID

      130008143592

    • 関連する報告書
      2022 実績報告書
    • 査読あり
  • [雑誌論文] Addition of Out-of-population Search Based on the Rate of Solution Updates in JADE2022

    • 著者名/発表者名
      Y. Miyahira, A. Notsu, K. Honda
    • 雑誌名

      Proc. of 2022 International Conference on Fuzzy Theory and Its Applications

      巻: 1

    • 関連する報告書
      2022 実績報告書
    • 査読あり
  • [雑誌論文] Additional Out-group Search for JADE2022

    • 著者名/発表者名
      Y. Miyahira, A. Notsu
    • 雑誌名

      Integrated Uncertainty in Knowledge Modelling and Decision Making

      巻: 9 ページ: 105-116

    • 関連する報告書
      2021 実施状況報告書
    • 査読あり
  • [雑誌論文] A Study on Pre-Learning of State Similarity for Deep Reinforcement Learning2021

    • 著者名/発表者名
      K. Yasunaga, A. Notsu, S. Ubukata, K. Honda
    • 雑誌名

      Proc. of 22nd International Symposium on Advanced Intelligent Systems

      巻: G01-2 ページ: 7-16

    • NAID

      40022262669

    • 関連する報告書
      2021 実施状況報告書
    • 査読あり
  • [雑誌論文] Online state space generation by a growing self-organizing map and differential learning for reinforcement learning2020

    • 著者名/発表者名
      A. Notsu, K. Yasuda, S. Ubukata, K. Honda
    • 雑誌名

      Applied Soft Computing

      巻: 97 ページ: 1-9

    • DOI

      10.1016/j.asoc.2020.106723

    • 関連する報告書
      2020 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Proposal of Adaptive Randomness in Differential Evolution2020

    • 著者名/発表者名
      J. Tsubamoto, A. Notsu, S. Ubukata, K. Honda
    • 雑誌名

      Proc. of 2020 IEEE Congress on Evolutionary Computation

      巻: 1 ページ: 1-8

    • NAID

      130007957968

    • 関連する報告書
      2020 実施状況報告書
    • 査読あり
  • [雑誌論文] Randomness Selection in Differential Evolution Using Thompson Sampling2020

    • 著者名/発表者名
      A. Notsu, J. Tsubamoto, Y. Miyahira, S. Ubukata, K. Honda
    • 雑誌名

      Proc. of Joint 11th International Conference on Soft Computing and Intelligent Systems and 21st International Symposium on Advanced Intelligent Systems

      巻: 1 ページ: 351-355

    • 関連する報告書
      2020 実施状況報告書
    • 査読あり
  • [雑誌論文] Designation of Candidate Solutions in Differential Evolution Based on Bandit Algorithm and its Evaluation2019

    • 著者名/発表者名
      M. Sakakibara, A. Notsu, S. Ubukata, K. Honda
    • 雑誌名

      Journal of Advanced Computational Intelligence and Intelligent Informatics

      巻: 23 号: 4 ページ: 758-766

    • DOI

      10.20965/jaciii.2019.p0758

    • NAID

      130007681855

    • ISSN
      1343-0130, 1883-8014
    • 年月日
      2019-07-20
    • 関連する報告書
      2019 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Simple Pre-learning of State Similarity for Deep Reinforcement Learning2019

    • 著者名/発表者名
      A. Notsu, K. Yasuda, K. Yasunaga, S. Ubukata, K. Honda
    • 雑誌名

      Proc. of the 20th International Symposium on Advanced Intelligent Systems and 2019 International Conference on Biometrics and Kansei Engineering

      巻: 1 ページ: 63-68

    • 関連する報告書
      2019 実施状況報告書
    • 査読あり
  • [雑誌論文] Changes during the Search from Differential Evolution with Intervals to Other Methods2019

    • 著者名/発表者名
      J. Tsubamoto, A. Notsu, S. Ubukata, K. Honda
    • 雑誌名

      Proc. of the 20th International Symposium on Advanced Intelligent Systems and 2019 International Conference on Biometrics and Kansei Engineering

      巻: 1 ページ: 75-80

    • 関連する報告書
      2019 実施状況報告書
    • 査読あり
  • [雑誌論文] Optimization of Learning Cycles in Online Reinforcement Learning Systems2018

    • 著者名/発表者名
      A. Notsu, K. Yasuda, S. Ubukata, K. Honda
    • 雑誌名

      Proc. of 2018 IEEE International Conference on Systems, Man, and Cybernetics

      巻: #12428 ページ: 3520-3524

    • 関連する報告書
      2018 実施状況報告書
    • 査読あり
  • [雑誌論文] Setting of Candidate Solutions Considering Confidence Intervals in Differential Evolution2018

    • 著者名/発表者名
      A. Notsu, M. Sakakibara, S. Ubukata, K. Honda
    • 雑誌名

      Proc. of 2018 International Conference on Fuzzy Theory and Its Applications

      巻: #T1a-2 ページ: 7-11

    • NAID

      130007554574

    • 関連する報告書
      2018 実施状況報告書
    • 査読あり
  • [学会発表] JADEにおける解の更新割合に基づいた集団外探索の追加2022

    • 著者名/発表者名
      宮平 裕一, 野津 亮, 本多 克宏
    • 学会等名
      日本知能情報ファジィ学会
    • 関連する報告書
      2022 実績報告書
  • [学会発表] 差分進化におけるパラメータのバンディットアルゴリズムによる適応的選択2021

    • 著者名/発表者名
      宮平 裕一,野津 亮,本多 克宏,生方 誠希
    • 学会等名
      第65回システム制御情報学会研究発表講演会
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] 状態経験数の近似を併用した深層強化学習2021

    • 著者名/発表者名
      安永 恭平, 野津 亮, 生方 誠希, 本多 克宏
    • 学会等名
      第37回ファジィシステムシンポジウム
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] JADEに対する集団外探索の追加2021

    • 著者名/発表者名
      宮平 裕一, 野津 亮, 生方 誠希, 本多 克宏
    • 学会等名
      インテリジェント・システム・シンポジウム2021
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] 低コストな進化計算や強化学習のアルゴリズムの提案に向けて2021

    • 著者名/発表者名
      野津 亮
    • 学会等名
      インテリジェント・システム・シンポジウム2021
    • 関連する報告書
      2021 実施状況報告書
    • 招待講演
  • [学会発表] 深層強化学習のための状態類似度の事前学習についての一考察2020

    • 著者名/発表者名
      安永 恭平,野津 亮,生方 誠希,本多 克宏
    • 学会等名
      第64回システム制御情報学会研究発表講演会
    • 関連する報告書
      2020 実施状況報告書
  • [学会発表] ランダムネス適応型差分進化の提案2020

    • 著者名/発表者名
      鍔本 純也,野津 亮,生方 誠希,本多 克宏
    • 学会等名
      第36回ファジィシステムシンポジウム
    • 関連する報告書
      2020 実施状況報告書
  • [学会発表] 区間を考慮した差分進化から他手法への探索途中での変更2019

    • 著者名/発表者名
      鍔本 純也,野津 亮,生方 誠希,本多 克宏
    • 学会等名
      第63回システム制御情報学会研究発表講演会
    • 関連する報告書
      2019 実施状況報告書
  • [学会発表] 差分進化における探索点群の広がりとアルゴリズムの切り替え2019

    • 著者名/発表者名
      野津 亮,鍔本 純也,生方 誠希,本多 克宏
    • 学会等名
      第35回ファジィシステムシンポジウム
    • 関連する報告書
      2019 実施状況報告書
  • [学会発表] 深層強化学習のための状態類似性のシンプルな事前学習2019

    • 著者名/発表者名
      野津 亮,安田 功嗣,安永 恭平
    • 学会等名
      第29回インテリジェント・システム・シンポジウム
    • 関連する報告書
      2019 実施状況報告書
  • [学会発表] 成長型自己組織化マップによる強化学習システムについての考察2018

    • 著者名/発表者名
      安田 功嗣,野津 亮,生方 誠希,本多 克宏
    • 学会等名
      第62回システム制御情報学会研究発表講演会
    • 関連する報告書
      2018 実施状況報告書
  • [学会発表] 差分進化における信頼区間を考慮した解候補の設定2018

    • 著者名/発表者名
      野津 亮,榊原 雅也,生方 誠希,本多 克宏
    • 学会等名
      第34回ファジィシステムシンポジウム
    • 関連する報告書
      2018 実施状況報告書
  • [学会発表] 強化学習システムにおける学習周期の無作為抽出による適応2018

    • 著者名/発表者名
      野津 亮,安田 功嗣,生方 誠希,本多 克宏
    • 学会等名
      第28回インテリジェント・システム・シンポジウム
    • 関連する報告書
      2018 実施状況報告書
  • [備考] 人間情報システム研究グループ

    • URL

      http://www.cs.osakafu-u.ac.jp/hi/index.html

    • 関連する報告書
      2020 実施状況報告書
  • [備考] 人間情報システム研究グループホームページ

    • URL

      http://www.cs.osakafu-u.ac.jp/hi/publications.html

    • 関連する報告書
      2019 実施状況報告書
  • [備考] http://www.cs.osakafu-u.ac.jp/hi/publications.html

    • 関連する報告書
      2018 実施状況報告書

URL: 

公開日: 2018-04-23   更新日: 2024-01-30  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi