Challenge toward seeing how far the emergence of higher functions can be explained by reinforcement learning with a neural network

2009 Fiscal Year Self-evaluation Report

• Project/Area Number: 19300070
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Single-year Grants
• Section: 一般
• Research Field: Perception information processing/Intelligent robotics
• Research Institution: Oita University
• Principal Investigator: SHIBATA Katsunari Oita University, 工学部, 准教授 (10260522)
• Project Period (FY): 2007 – 2010
• Keywords: 強化学習 / リカレントニューラルネット / 高次機能創発 / シンボル / 予測 / 探索

Research Abstract

単にニューラルネットを用いて強化学習を行なうだけで,シンボルの発現,記憶の学習,状態や行動の抽象化といった高次と呼べる機能が,トイプロブレムにおいて発現することがわかってきた。そこで,本研究では,ニューラルネットを用いた強化学習のアプローチによって,『高次機能の創発』がどこまで説明できるのかに挑戦していく。具体的には
(1)離散状態間遷移の学習とシンボル・論理的思考
(2)空間情報の抽象化と予測・概念形成
(3)決定論的知的探索と時間的抽象化・好奇心の3つに焦点を当て,視覚センサ信号等を入力とし、リカレントニューラルネットで出力を決定する移動ロボットを、複数の部屋からなる環境において報酬や罰を元に学習させることで,上記の高次機能が創発してくることをわかりやすくアピールしていく

Research Products

• [Journal Article] Learning of Action Generation from Raw Camera Images in a Real-World-like Environment by Simple Coupling of Reinforcement Learning and a Neural Network (2009)
  • Author(s): Katsunari Shibata, Tomohiko Kawano
  • Journal Title: Advances in Neuro-Information Processing, Lecture Notes in Computer Science Vol.5506 Pages: 755-762
  • Peer Reviewed
• [Journal Article] Contextual Behavior and Internal Representations Acquired by Reinforcement Learning with a Recurrent Neural Network in a Continuous State and Action Space Task (2009)
  • Author(s): Hioroki Utsunomiya, Katsunari Shibata
  • Journal Title: Lecture Notes in Computer Science Vol.5507 Pages: 970-978
  • Peer Reviewed
• [Journal Article] Acquisition of Flexible Image Recognition by Coupling of Reinforcement Learning and a Neural Network (2008)
  • Author(s): Katsunari Shibata, Tomohiko Kawano
  • Journal Title: SICE Journal of Control, Measurement, and System Integration (JCMSI) Vol.2, No.2
  • Peer Reviewed
• [Presentation] リカレントニューラルネットを用いた強化学習による予測機能の創発 (2009)
  • Author(s): 後藤健太, 松本康生, 柴田克成
  • Organizer: SICE九州支部学術講演会
  • Year and Date: 20090000
• [Presentation] リカレントネットを用いた強化学習による記憶を利用した探索行動の学習 (2008)
  • Author(s): 後藤健太, 柴田克成
  • Organizer: 電気関係学会九州支部連合大会
  • Year and Date: 20080000