• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2014 Fiscal Year Research-status Report

マルチエージェント系における経験強化型学習XoLの理論と応用

Research Project

Project/Area Number 26330267
Research InstitutionNational Institution for Academic Degrees and University Evaluation

Principal Investigator

宮崎 和光  独立行政法人大学評価・学位授与機構, 研究開発部, 准教授 (20282866)

Project Period (FY) 2014-04-01 – 2017-03-31
Keywordsマルチエージェントシステム / 経験強化型学習 / 強化学習 / 機械学習 / ソフトコンピューティング
Outline of Annual Research Achievements

本研究課題では、マルチエージェント学習における経験強化型学習XoLに関する発展的研究を進めている。特に、平成26年度においては、当初の予定通り、XoLにおける同時学習問題の扱いを整理するとともに、同時学習問題を回避する手法の提案に成功した。
これらの研究成果は、平成27年3月に青山学院大学で開催された「電気学会 システム研究会 機械学習応用研究の最前線」において、「マルチエージェント学習における 2次系の必要性に関する研究」という題目で発表するとともに、研究会資料として、その内容を公表した。
そこでは、平成26年11月に「Procedia Computer Science誌」に掲載された「The Necessity of a Secondary System in Machine Consciousness」の中で提案した「2次系(Secondary System)」と呼ばれる概念を、XoLの一手法であるProfit Sharingと組み合わせることで、同時学習問題の解決を図っている。また、同時学習問題が生じる一般的な構造を示すことで、XoLにおいて同時学習問題を取り扱う際の基本方針を明確にした。
平成26年度の研究成果は、本研究課題を推進する上での基本となるものである。特に、ここで提案された手法は、今後実施する予定の各種の応用例の探求において中心的な役割を担うものである。また、この成果は、XoL以外の一般的な強化学習手法に対しても適用可能であり、マルチエージェント学習一般に対しても大きな意義がある研究成果であると考える。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

交付申請書の「研究の目的」に記載した(1)から(3)までの3つの主目的のうち、「研究実施計画」において、平成26年度に行うことを予定していた「(1)マルチエージェント学習における「同時学習問題」に対する新たな手法の提案」を実現した。したがって本研究課題は、おおむね順調に進展していると考えられる。

Strategy for Future Research Activity

今後は、交付申請書の「研究の目的」に記載した3つの主目的のうちの残りのふたつ、すなわち、「(2)マルチエージェント学習おける「間接報酬」の効用の解析」と「(3)マルチエージェント学習を用いたキラーアプリケーションの提示」を中心に研究を推進する予定でいる。
具体的な推進方法は、極力、平成27年度および平成28年度の研究実施計画に記載した内容に沿って実施する予定でいる。すなわち、平成27年度においては、間接報酬の効用の解析を行い、平成28年度では、平成26年度および平成27年度の研究成果を踏まえた、マルチエージェント学習におけるXoLの有効性を示すための応用例の拡大・拡充を図る予定でいる。

Causes of Carryover

当初、LEGO MindStormsを用いたマルチエージェントロボット環境の整備を平成26年度中に終える予定であったが、平成27年度に一括して行うことにしたため、10万円程繰り越すことにした。

Expenditure Plan for Carryover Budget

物品費は、LEGO MindStorms環境の整備、各種ロボットの購入、ならびに、シミュレーション実験を実施するための計算機環境の整備に充てる予定でいる。また、旅費に関しては、国際会議やシンポジウム等での発表旅費に充てる予定でいる。

  • Research Products

    (8 results)

All 2015 2014 Other

All Journal Article (2 results) (of which Peer Reviewed: 2 results,  Open Access: 2 results) Presentation (5 results) Remarks (1 results)

  • [Journal Article] Proposed Decision-Making System Based on Consciousness in Multiple Rewards and Penalties Environments2015

    • Author(s)
      Kazuteru Miyazaki
    • Journal Title

      International Journal of Machine Learning and Computing

      Volume: 5 (2) Pages: 121-126

    • DOI

      10.7763/IJMLC.2015.V5.494

    • Peer Reviewed / Open Access
  • [Journal Article] The Necessity of a Secondary System in Machine Consciousness2014

    • Author(s)
      Kazuteru Miyazaki and Junichi Takeno
    • Journal Title

      Procedia Computer Science

      Volume: 41 Pages: 15-22

    • DOI

      10.1016/j.procs.2014.11.079

    • Peer Reviewed / Open Access
  • [Presentation] マルチエージェント学習における2次系の必要性に関する研究2015

    • Author(s)
      宮崎和光
    • Organizer
      電気学会 システム研究会 機械学習応用研究の最前線
    • Place of Presentation
      青山学院大学 相模原キャンパス
    • Year and Date
      2015-03-11
  • [Presentation] Profit Sharing強化学習への予想失敗確率の導入とその有効性に関する研究2015

    • Author(s)
      古川耕大, 宮崎和光小林博明
    • Organizer
      第27回自律分散システムシンポジウム
    • Place of Presentation
      東京理科大学 神楽坂キャンパス
    • Year and Date
      2015-01-22
  • [Presentation] Proposed Decision-Making System Based on Consciousness in Multiple Rewards and Penalties Environments2014

    • Author(s)
      Kazuteru Miyazaki
    • Organizer
      2014 International Conference on Artificial Intelligence
    • Place of Presentation
      バルセロナ(スペイン)
    • Year and Date
      2014-12-23
  • [Presentation] The Necessity of a Secondary System in Machine Consciousness2014

    • Author(s)
      Kazuteru Miyazaki and Junichi Takeno
    • Organizer
      2014 Annual International Conference on Biologically Inspired Cognitive Architectures
    • Place of Presentation
      マサチューセッツ工科大学(アメリカ)
    • Year and Date
      2014-11-08
  • [Presentation] 複数種類の報酬と罰に対応した意識的意思決定システムの提案2014

    • Author(s)
      宮崎和光
    • Organizer
      第13回情報科学技術フォーラム
    • Place of Presentation
      筑波大学 筑波キャンパス
    • Year and Date
      2014-09-05
  • [Remarks]

    • URL

      http://www7b.biglobe.ne.jp/~kazuteru/indexj.html

URL: 

Published: 2016-05-27  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi