報酬が動的に変化する環境における事前知識を活用する強化学習

• 研究課題/領域番号: 24760308
• 研究種目: 若手研究(B)
• 配分区分: 基金
• 研究分野: システム工学
• 研究機関: 筑波大学
• 研究代表者: 澁谷 長史 筑波大学, システム情報系, 助教 (90582776)
• 研究期間 (年度): 2012-04-01 – 2016-03-31
• 研究課題ステータス: 完了 (2015年度)
• 配分額: 4,550千円 (直接経費: 3,500千円、間接経費: 1,050千円); 2014年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円); 2013年度: 1,560千円 (直接経費: 1,200千円、間接経費: 360千円); 2012年度: 1,560千円 (直接経費: 1,200千円、間接経費: 360千円)
• キーワード: 強化学習 / 機械学習

研究成果の概要

試行錯誤のさなかに報酬が変化する環境において、変化に関する事前知識を活用した効率的な強化学習方法を実現することである。強化学習には、多くの潜在的アプリケーションが期待されている反面、「ある行動を選択することの望ましいは時間に対して不変である」という仮定があり、時間とともに性質が変化する対象を学習できないという本質的な課題がある。本研究では、この実現の切り口として、変化に関する事前知識を活用した手法について研究を進めた。環境にあわせた事前知識を用いて、時間に対して報酬が周期性を持つ環境、方位に対して報酬が周期性を持つ環境、状態遷移確率が変化する環境などのための学習方式を明らかにした。

研究成果

• [雑誌論文] Profit Sharing reducing the occurrences of accidents by predicted action-safety degree (2015)
  • 著者名/発表者名: Junki Tamaru and Takeshi Shibuya
  • 雑誌名: Proceedings of the 10th Asian Control Conference 2015 (ASCC 2015) 巻: ASCC2015
  • 査読あり
• [雑誌論文] A study of efficient reinforcement learning using the relative angle of two objects (2015)
  • 著者名/発表者名: Moriaki Onishi and Takeshi Shibuya
  • 雑誌名: Proceedings on the 16th International Symposium on Advanced Intelligent Systems 巻: ISIS2015 ページ: 1091-1098
• [雑誌論文] Profit Sharing reducing the occurrences of accidents by predicted action-safety degree (2015)
  • 著者名/発表者名: Junki Tamaru and Takeshi Shibuya
  • 雑誌名: Proceedings of the 10th Asian Control Conference 2015 巻: ASCC2015
  • 査読あり
• [雑誌論文] 報酬が周期的に変化する環境のための強化学習 (2014)
  • 著者名/発表者名: 澁谷長史, 安信誠二
  • 雑誌名: 電気学会 論文誌C 巻: 134-9 ページ: 1325-1332
  • NAID: 130004684941
  • 査読あり / 謝辞記載あり
• [雑誌論文] 選択的不感化ニューラルネットを用いた連続状態行動空間におけるQ学習 (2014)
  • 著者名/発表者名: 小林高彰, 澁谷長史, 森田昌彦
  • 雑誌名: 電子情報通信学会論文誌 D 巻: J98-D ページ: 287-299
  • NAID: 110008746501
  • 査読あり / 謝辞記載あり
• [雑誌論文] Q-learning in Continuous State-Action Space with Redundant Dimensions Using a Selective Desensitization Neural Network (2014)
  • 著者名/発表者名: T. Kobayashi, T. Shibuya and M. Morita
  • 雑誌名: Proceedings of Joint 7th International Conference on Soft Computing and Intelligent Systems and 15th International Symposium on Advanced Intelligent Systems 巻: SCIS&ISIS2014 ページ: 801-806
  • 査読あり
• [雑誌論文] Reinforcement learning using BAMDP-based prior knowledge for dynamic environment (2014)
  • 著者名/発表者名: T.shibuya
  • 雑誌名: USB Proceedings of the 11th International Conference on Modeling Decisions for Artificial Intelligence 巻: MDAI2014 ページ: 143-152
  • 査読あり
• [学会発表] 外部による評価を報酬に組み入れる繰り返し動作の獲得手法の一検討 (2015)
  • 著者名/発表者名: NGUYEN VAN, BAC, 澁谷 長史
  • 学会等名: 電気学会（システム研究会）
  • 発表場所: 新潟県立看護大学（新潟県上越市）
  • 年月日: 2015-12-06
• [学会発表] dotQ-learningのための位相変化量の動的な更新に関する一検討 (2015)
  • 著者名/発表者名: 作田宏行, 澁谷長史
  • 学会等名: 電気学会（システム研究会）
  • 発表場所: 新潟県立看護大学（新潟県上越市）
  • 年月日: 2015-12-06
• [学会発表] フレーム変形したロボットのための事前学習による効率的な動作獲得法の検討 (2015)
  • 著者名/発表者名: 羽鳥貴久, 澁谷長史
  • 学会等名: 第42回知能システムシンポジウム
  • 発表場所: 北野プラザ六甲荘（兵庫）
  • 年月日: 2015-03-17 – 2015-03-18
• [学会発表] 障害物とエージェントの相対角を用いた効率的な強化学習法の基礎検討 (2015)
  • 著者名/発表者名: 大西杜諒, 澁谷長史
  • 学会等名: 電気学会研究会資料(システム研究会)
  • 発表場所: 青山学院大学（神奈川）
  • 年月日: 2015-03-11
• [学会発表] Q-learning in Continuous State-Action Space with Redundant Dimensions Using a Selective Desensitization Neural Network (2014)
  • 著者名/発表者名: T. Kobayashi
  • 学会等名: Joint 7th International Conference on Soft Computing and Intelligent Systems and 15th International Symposium on Advanced Intelligent Systems
  • 発表場所: 北九州国際会議場（福岡）
  • 年月日: 2014-12-03 – 2014-12-06
• [学会発表] Reinforcement learning using BAMDP-based prior knowledge for dynamic environment (2014)
  • 著者名/発表者名: T.shibuya
  • 学会等名: the 11th International Conference on Modeling Decisions for Artificial Intelligence
  • 発表場所: 筑波大学東京キャンパス（東京）
  • 年月日: 2014-10-29 – 2014-10-31
• [学会発表] 事前知識を反映した状態遷移確率推定により環境変化に適応する強化学習 (2014)
  • 著者名/発表者名: 臼井翼, 澁谷長史
  • 学会等名: 第41回知能システムシンポジウム
  • 発表場所: 筑波大学東京キャンパス（東京）
• [学会発表] 繰り返し状態系列から時刻依存の報酬関数を推定する逆強化学習の提案 (2013)
  • 著者名/発表者名: 田丸順基, 澁谷長史
  • 学会等名: 電気学会 システム研究会
  • 発表場所: 愛知県立大学サテライトキャンパス
• [学会発表] ステップごとに報酬が周期的に変化する環境における強化学習の一考察 (2013)
  • 著者名/発表者名: 澁谷長史
  • 学会等名: 第４０回知能システムシンポジウム
  • 発表場所: 京都工芸繊維大学（京都府）
• [学会発表] 報酬を与えられる領域が変化する環境における強化学習 (2012)
  • 著者名/発表者名: 澁谷長史
  • 学会等名: 平成２４年 度電気学会電子・情報・システム部門大会
  • 発表場所: 弘前大学（青森県）