• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

経験強化型学習と深層学習を組み合わせた新たな機械学習手法の構築に関する研究

研究課題

研究課題/領域番号 17K00327
研究種目

基盤研究(C)

配分区分基金
応募区分一般
研究分野 知能情報学
研究機関独立行政法人大学改革支援・学位授与機構

研究代表者

宮崎 和光  独立行政法人大学改革支援・学位授与機構, 研究開発部, 准教授 (20282866)

研究期間 (年度) 2017-04-01 – 2020-03-31
研究課題ステータス 完了 (2019年度)
配分額 *注記
4,420千円 (直接経費: 3,400千円、間接経費: 1,020千円)
2019年度: 1,170千円 (直接経費: 900千円、間接経費: 270千円)
2018年度: 1,170千円 (直接経費: 900千円、間接経費: 270千円)
2017年度: 2,080千円 (直接経費: 1,600千円、間接経費: 480千円)
キーワード強化学習 / 経験強化型学習 / 深層学習 / 深層強化学習 / 知能ロボット / ロボット
研究成果の概要

経験強化型学習XoLと深層学習を組み合わせた新たな機械学習手法としてLADQNやDPNと呼ばれる手法を提案した。特に、DPNは、Atari2600ゲーム環境において、一定の条件下で、代表的な深層強化学習手法であるDQNの1/10以下の試行錯誤回数で学習できることを示した。
さらに、深層学習と融合させたXoL手法を、自動車運転者の眠気検知、ツイートデータに基づく病気の症状判定などへ応用し、有効性を示した。これにより、従来の深層強化学習では困難であったリアルタイム性が要求される領域への試行錯誤に基づく学習の適用可能性を広げることに貢献した。

研究成果の学術的意義や社会的意義

強化学習などの試行錯誤に基づく学習は、膨大なデータの中から有効な制御則や戦略を獲得するのに適した接近法である。しかし、一般に、学習には膨大な試行錯誤回数を要するという問題がある。特に近年は、深層学習と融合した深層強化学習の登場により、今まで以上に、試行錯誤回数の削減が重要となっていた。
この問題に対し、本研究課題では、試行錯誤回数の大幅な削減を実現する手法の提案を行った。この成果は、ロボット制御などの、今まで困難であったリアルタイム性が重視される領域への深層強化学習の適用可能性を高めることにつながり、人工知能技術の応用範囲をこれまで以上に広げるものであると考える。

報告書

(4件)
  • 2019 実績報告書   研究成果報告書 ( PDF )
  • 2018 実施状況報告書
  • 2017 実施状況報告書
  • 研究成果

    (41件)

すべて 2020 2019 2018 2017

すべて 雑誌論文 (7件) (うち査読あり 6件、 オープンアクセス 6件) 学会発表 (34件) (うち国際学会 11件、 招待講演 1件)

  • [雑誌論文] Construction of Consistency Judgment System of Diploma Policy and Curriculum Policy using Character-level CNN(雑誌論文「Character-level CNNを用いたディプロマ・ポリシーとカリキュラム・ポリシーの整合性判定システムの構築」の翻訳版)2020

    • 著者名/発表者名
      Kazuteru Miyazaki、Masaaki Ida
    • 雑誌名

      Electronics and Communications in Japan

      巻: 102 号: 12 ページ: 30-39

    • DOI

      10.1002/ecj.12223

    • 関連する報告書
      2019 実績報告書
    • オープンアクセス
  • [雑誌論文] Character-level CNNを用いたディプロマ・ポリシーとカリキュラム・ポリシーの整合性判定システムの構築2019

    • 著者名/発表者名
      宮崎 和光、井田 正明
    • 雑誌名

      電気学会論文誌C(電子・情報・システム部門誌)

      巻: 139 号: 10 ページ: 1119-1127

    • DOI

      10.1541/ieejeiss.139.1119

    • NAID

      130007722362

    • ISSN
      0385-4221, 1348-8155
    • 年月日
      2019-10-01
    • 関連する報告書
      2019 実績報告書
    • 査読あり
  • [雑誌論文] Proposal and Evaluation of Detour Path Suppression Method in PS Reinforcement Learning2019

    • 著者名/発表者名
      SHIRAISHI Daisuke、MIYAZAKI Kazuteru、KOBAYASHI Hiroaki
    • 雑誌名

      SICE Journal of Control, Measurement, and System Integration

      巻: 12 号: 5 ページ: 190-198

    • DOI

      10.9746/jcmsi.12.190

    • 関連する報告書
      2019 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Proposal and Evaluation of Reward Sharing Method Based on Safety Level2018

    • 著者名/発表者名
      KODAMA Naoki、MIYAZAKI Kazuteru、KOBAYASHI Hiroaki
    • 雑誌名

      SICE Journal of Control, Measurement, and System Integration

      巻: 11 号: 3 ページ: 207-213

    • DOI

      10.9746/jcmsi.11.207

    • 関連する報告書
      2018 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Proposal of a Deep Q-network with Profit Sharing2018

    • 著者名/発表者名
      Miyazaki Kazuteru
    • 雑誌名

      Procedia Computer Science

      巻: 123 ページ: 302-307

    • DOI

      10.1016/j.procs.2018.01.047

    • 関連する報告書
      2018 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Exploitation-Oriented Learning with Deep Learning – Introducing Profit Sharing to a Deep Q-Network –2017

    • 著者名/発表者名
      Kazuteru Miyazaki
    • 雑誌名

      Journal of Advanced Computational Intelligence and Intelligent Informatics

      巻: 21 号: 5 ページ: 849-855

    • DOI

      10.20965/jaciii.2017.p0849

    • NAID

      130007520180

    • ISSN
      1343-0130, 1883-8014
    • 年月日
      2017-09-20
    • 関連する報告書
      2017 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Proposal of PSwithEFP and its Evaluation in Multi-Agent Reinforcement Learning2017

    • 著者名/発表者名
      Kazuteru Miyazaki, Koudai Furukawa, and Hiroaki Kobayashi
    • 雑誌名

      Journal of Advanced Computational Intelligence and Intelligent Informatics

      巻: 21 号: 5 ページ: 930-938

    • DOI

      10.20965/jaciii.2017.p0930

    • NAID

      130007520101

    • ISSN
      1343-0130, 1883-8014
    • 年月日
      2017-09-20
    • 関連する報告書
      2017 実施状況報告書
    • 査読あり / オープンアクセス
  • [学会発表] Classification of Medical Data using Character-level CNN2020

    • 著者名/発表者名
      Kazuteru Miyazaki
    • 学会等名
      The 3rd International Conference on Information Science and System (ICISS 2020)
    • 関連する報告書
      2019 実績報告書
    • 国際学会
  • [学会発表] 深層強化学習を利用したドライバーの眠気防止システムに関する一考察2020

    • 著者名/発表者名
      宮崎和光
    • 学会等名
      第47回 知能システムシンポジウム
    • 関連する報告書
      2019 実績報告書
  • [学会発表] Profit Sharingによる方策の直接強化手法の提案2020

    • 著者名/発表者名
      小玉直樹、原田拓、宮崎和光
    • 学会等名
      第47回 知能システムシンポジウム
    • 関連する報告書
      2019 実績報告書
  • [学会発表] Deep Reinforcement Learning with Dual Targeting Algorithm2019

    • 著者名/発表者名
      Naoki Kodama、Taku Harada、Kazuteru Miyazaki
    • 学会等名
      2019 International Joint Conference on Neural Networks (IJCNN)
    • 関連する報告書
      2019 実績報告書
    • 国際学会
  • [学会発表] 意識的意思決定システムへの深層強化学習の適用可能性に関する一考察2019

    • 著者名/発表者名
      宮崎和光
    • 学会等名
      計測自動制御学会 システム・情報部門 学術講演会2019
    • 関連する報告書
      2019 実績報告書
  • [学会発表] 経験強化型学習によるAngry Birds AI Competitionへの挑戦2019

    • 著者名/発表者名
      宮崎和光
    • 学会等名
      計測自動制御学会 システム・情報部門 学術講演会2019
    • 関連する報告書
      2019 実績報告書
  • [学会発表] Character-level CNNを用いたディプロマ・ポリシーマッチングテストの大規模調査結果との比較2019

    • 著者名/発表者名
      宮崎和光、高橋望、森利枝
    • 学会等名
      計測自動制御学会 システム・情報部門 学術講演会2019
    • 関連する報告書
      2019 実績報告書
  • [学会発表] 経験強化型学習を用いた分散深層強化学習手法の提案2019

    • 著者名/発表者名
      小玉直樹、原田拓、宮崎和光
    • 学会等名
      計測自動制御学会 システム・情報部門 学術講演会2019
    • 関連する報告書
      2019 実績報告書
  • [学会発表] ディプロマ・ポリシーと学位に付記する専攻分野の名称の整合性に関する研究 - 大規模調査結果の分析 -2019

    • 著者名/発表者名
      宮崎和光、高橋望、森利枝
    • 学会等名
      電気学会C部門大会
    • 関連する報告書
      2019 実績報告書
  • [学会発表] Research on Consistency between Diploma Policies and Nomenclature of Major Disciplines : Deep Learning Approach2019

    • 著者名/発表者名
      Kazuteru Miyazaki、Nozomi Takahashi、Rie Mori
    • 学会等名
      7th International Conference on Information and Education Technology (ICIET 2019)
    • 関連する報告書
      2018 実施状況報告書
    • 国際学会
  • [学会発表] 非ブートストラップ手法を利用した深層強化学習アルゴリズムの提案2019

    • 著者名/発表者名
      小玉直樹、原田拓、宮崎和光
    • 学会等名
      第46回 知能システムシンポジウム
    • 関連する報告書
      2018 実施状況報告書
  • [学会発表] A Proposal for Reducing the Number of Trial-and-Error Searches for Deep Q-Networks Combined with Exploitation-Oriented Learning2018

    • 著者名/発表者名
      Naoki Kodama、Kazuteru Miyazaki、Taku Harada
    • 学会等名
      17th IEEE International Conference on Machine Learning and Applications (ICMLA 2018)
    • 関連する報告書
      2018 実施状況報告書
    • 国際学会
  • [学会発表] Consistency Assessment between Diploma Policy and Curriculum Policy using Character-level CNN2018

    • 著者名/発表者名
      Kazuteru Miyazaki、Masaaki Ida
    • 学会等名
      Joint 10th International Conference on Soft Computing and Intelligent Systems and 19th International Symposium on Advanced Intelligent Systems (SCIS&ISIS 2018)
    • 関連する報告書
      2018 実施状況報告書
    • 国際学会
  • [学会発表] Proposal of Detour Path Suppression Method in PS Reinforcement Learning and Its Application to Altruistic Multi-agent Environment2018

    • 著者名/発表者名
      Daisuke Shiraishi、Kazuteru Miyazaki、Hiroaki Kobayashi
    • 学会等名
      International Conference on Principles and Practice of Multi-Agent Systems (PRIMA 2018)
    • 関連する報告書
      2018 実施状況報告書
    • 国際学会
  • [学会発表] On Stable Profit Sharing Reinforcement Learning with Expected Failure Probability2018

    • 著者名/発表者名
      Daisuke Mizuno、Kazuteru Miyazaki、Hiroaki Kobayashi
    • 学会等名
      Biologically Inspired Cognitive Architectures Meeting (BICA 2018)
    • 関連する報告書
      2018 実施状況報告書
    • 国際学会
  • [学会発表] Proposal and Evaluation of an Indirect Reward Assignment Method for Reinforcement Learning by Profit Sharing2018

    • 著者名/発表者名
      Kazuteru Miyazaki、Naoki Kodama、Hiroaki Kobayashi
    • 学会等名
      IntelliSys 2018
    • 関連する報告書
      2018 実施状況報告書
    • 国際学会
  • [学会発表] Character-level CNNを用いたディプロマ・ポリシーマッチングテスト2018

    • 著者名/発表者名
      宮崎和光、高橋望、森利枝
    • 学会等名
      計測自動制御学会 システム・情報部門 学術講演会2018
    • 関連する報告書
      2018 実施状況報告書
  • [学会発表] 深層強化学習アルゴリズムRainbowとProfit Sharingベース学習の結合2018

    • 著者名/発表者名
      小玉直樹、原田拓、宮崎和光
    • 学会等名
      計測自動制御学会 システム・情報部門 学術講演会2018
    • 関連する報告書
      2018 実施状況報告書
  • [学会発表] 経験強化型学習XoLに関する最近の発展2018

    • 著者名/発表者名
      宮崎和光
    • 学会等名
      計測自動制御学会 システム・情報部門 学術講演会2018
    • 関連する報告書
      2018 実施状況報告書
  • [学会発表] Character-level CNN を用いたディプロマポリシーとカリキュラムポリシーの整合性判定2018

    • 著者名/発表者名
      宮崎和光、井田正明
    • 学会等名
      システム研究会 インテリジェント・システム (FAN2018)
    • 関連する報告書
      2018 実施状況報告書
  • [学会発表] 2つのエピソードを持つ経験強化型深層強化学習手法の提案2018

    • 著者名/発表者名
      小玉直樹、原田拓、宮崎和光
    • 学会等名
      平成30年 電気学会 電子・情報・システム部門大会
    • 関連する報告書
      2018 実施状況報告書
  • [学会発表] Proposal and Evaluation of an Indirect Reward Assignment Method for Reinforcement Learning by Profit Sharing2018

    • 著者名/発表者名
      Kazuteru Miyazaki, Naoki Kodama and Hiroaki Kobayashi
    • 学会等名
      IntelliSys 2018
    • 関連する報告書
      2017 実施状況報告書
    • 国際学会
  • [学会発表] 将来成功・失敗期待確率を用いた報酬分配型強化学習に関する研究2018

    • 著者名/発表者名
      水野大介, 小林博明, 宮崎和光
    • 学会等名
      電気学会 システム研究会(ちよだプラットフォームスクウェア 会議室504)
    • 関連する報告書
      2017 実施状況報告書
  • [学会発表] Character-level CNNを用いたテキスト分類に関する一考察2018

    • 著者名/発表者名
      宮崎和光
    • 学会等名
      電気学会 システム研究会(ちよだプラットフォームスクウェア 会議室504)
    • 関連する報告書
      2017 実施状況報告書
  • [学会発表] 学習機能を利用したディプロマ・ポリシーマッチングテストの性能改善2018

    • 著者名/発表者名
      宮崎和光, 高橋望, 森利枝
    • 学会等名
      第45回知能システムシンポジウム
    • 関連する報告書
      2017 実施状況報告書
  • [学会発表] 経験強化型学習を利用したdeep Q-networkの学習加速化手法の提案と有効性の検証2018

    • 著者名/発表者名
      小玉直樹, 宮崎和光, 小林博明
    • 学会等名
      第45回知能システムシンポジウム
    • 関連する報告書
      2017 実施状況報告書
  • [学会発表] Proposal of reward sharing method based on safety level and verification of its effectiveness in multi-agent environment2017

    • 著者名/発表者名
      Naoki Kodama, Kazuteru Miyazaki, and Hiroaki Kobayashi
    • 学会等名
      SICE Annual Conference 2017
    • 関連する報告書
      2017 実施状況報告書
    • 国際学会
  • [学会発表] Proposal of a Deep Q-network with Profit Sharing2017

    • 著者名/発表者名
      Kazuteru Miyazaki
    • 学会等名
      2017 Annual International Conference on Biologically Inspired Cognitive Architectures (BICA 2017)
    • 関連する報告書
      2017 実施状況報告書
    • 国際学会
  • [学会発表] 深層学習と強化学習 - 経験強化型学習を組み込んだ深層強化学習の評価 -2017

    • 著者名/発表者名
      宮崎和光
    • 学会等名
      第61回システム制御情報学会研究発表講演会 (SCI’17)
    • 関連する報告書
      2017 実施状況報告書
    • 招待講演
  • [学会発表] 予想失敗確率を組み込んだ新たな罰利用法の提案とマルチエージェント環境下での有効性の検証2017

    • 著者名/発表者名
      小玉直樹, 宮崎和光, 小林博明
    • 学会等名
      平成29年電気学会 電子・情報・システム部門大会
    • 関連する報告書
      2017 実施状況報告書
  • [学会発表] Profit Sharingにおける迂回系列抑制法のマルチエージェント環境下での有効性の検証2017

    • 著者名/発表者名
      白石大介, 宮崎和光, 小林博明
    • 学会等名
      計測自動制御学会 システム・情報部門 学術講演会2017
    • 関連する報告書
      2017 実施状況報告書
  • [学会発表] EFP利用による罰回避を実現したProfit Sharingの現状と課題2017

    • 著者名/発表者名
      宮崎和光, 小玉直樹, 小林博明
    • 学会等名
      計測自動制御学会 システム・情報部門 学術講演会2017
    • 関連する報告書
      2017 実施状況報告書
  • [学会発表] 経験強化型学習を組み込んだ深層強化学習DQNwithPSの改良と有効性の検証2017

    • 著者名/発表者名
      小玉直樹, 宮崎和光, 小林博明
    • 学会等名
      計測自動制御学会 システム・情報部門 学術講演会2017
    • 関連する報告書
      2017 実施状況報告書
  • [学会発表] ディプロマ・ポリシーと学位に付記する専攻分野の名称の整合性に関する研究 - 深層学習による接近 -2017

    • 著者名/発表者名
      宮崎和光, 森利枝, 高橋望
    • 学会等名
      電気学会 システム研究会 機械学習研究の最新動向
    • 関連する報告書
      2017 実施状況報告書

URL: 

公開日: 2017-04-28   更新日: 2021-02-19  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi