• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

報酬最大化原理および大脳基底核モデルによるゴール指向性推論機能の自動的実装

Research Project

Project/Area Number 15700180
Research Category

Grant-in-Aid for Young Scientists (B)

Allocation TypeSingle-year Grants
Research Field Sensitivity informatics/Soft computing
Research InstitutionTokyo Institute of Technology

Principal Investigator

伊藤 秀昭  東京工業大学, 大学院・総合理工学研究科, 助手 (20345375)

Project Period (FY) 2003 – 2005
Project Status Completed (Fiscal Year 2005)
Budget Amount *help
¥1,800,000 (Direct Cost: ¥1,800,000)
Fiscal Year 2005: ¥500,000 (Direct Cost: ¥500,000)
Fiscal Year 2004: ¥500,000 (Direct Cost: ¥500,000)
Fiscal Year 2003: ¥800,000 (Direct Cost: ¥800,000)
Keywordsゴール指向性推論 / 高次脳機能 / 報酬最大化 / 大脳基底核 / 部分観測マルコフ決定過程 / ダイナミックベイジアンネットワーク
Research Abstract

本研究は、ゴール指向性推論を始めとした、人間の脳の持つ様々な高次脳機能を包括的に実現するエージェントを設計することを目標としたものである。そのため、ゴール指向性推論に始めから特化してエージェントを設計するのではなく、「エージェントとその環境についてのある制約条件のもとで報酬最大化という最適化問題を解く」という形でエージェントを設計し、その結果として「ゴール指向性推論がエージェントに実装された」という現象を自動的に発生させることを試みた。前年度までの研究によりそのような現象が発生する具体例を考案していたが、最適化に長い時間がかかってしまうという問題があった。そこで本年度はその現象をより効率よく発生させることを目指して、新たな最適化手法の開発を行った。第一に、これまではエージェントが環境を直接には学習しない強化学習的手法を用いていたが、最適化が完了するまでに環境と多くのインタラクションを行う必要があり非効率的であった。そこで効率化のためには環境を学習させた方が良いのではないかと考え、そのための手法を開発した。特に、確率的な環境をコンパクトに表現する事ができるダイナミックベイジアンネットワークを用いることが有望であると考え、これを効率よく学習することができる手法を開発した。この成果については学会にて公表済みである。第二に、学習された環境をもとに効率よく最適化を行う手法も開発した。これについては論文を投稿中である。これらによってこれまでより大幅に効率的な最適化が可能となった。ただし、ゴール指向性推論の効率のよい発生が可能となる理論的条件やゴール指向性推論以外の機能の実現については十分検討できなかったため、今後の課題としたい。

Report

(3 results)
  • 2005 Annual Research Report
  • 2004 Annual Research Report
  • 2003 Annual Research Report
  • Research Products

    (3 results)

All 2005 2004 Other

All Journal Article (2 results) Publications (1 results)

  • [Journal Article] A quasi-Bayes algorithm for fast and accurate online learning of Dynamic Bayesian Networks2005

    • Author(s)
      Hideaki Itoh
    • Journal Title

      Proceedings of Eighth Workshop on Information-Based Induction Sciences

      Pages: 185-190

    • Related Report
      2005 Annual Research Report
  • [Journal Article] Towards Learning to Learn and Plan by Relational Reinforcement Learning2004

    • Author(s)
      Hideaki Itoh
    • Journal Title

      Proc. of Workshop on Relational Reinforcement Learning at the 21st International Conference on Machine Learning

      Pages: 34-39

    • Related Report
      2004 Annual Research Report
  • [Publications] Hiroyuki Nakahara: "Dopamine Neurons Can Represent Context-Dependent Prediction Error"Neuron. 41. 269-280 (2004)

    • Related Report
      2003 Annual Research Report

URL: 

Published: 2003-04-01   Modified: 2016-04-21  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi