ニューラルネットを用いた強化学習で,どこまで高次機能の創発が説明できるかへの挑戦

• 研究課題/領域番号: 19300070
• 研究種目: 基盤研究(B)
• 配分区分: 補助金
• 応募区分: 一般
• 研究分野: 知覚情報処理・知能ロボティクス
• 研究機関: 大分大学
• 研究代表者: 柴田 克成 大分大学, 工学部, 准教授 (10260522)
• 研究期間 (年度): 2007 – 2010
• 研究課題ステータス: 完了 (2010年度)
• 配分額: 7,800千円 (直接経費: 6,000千円、間接経費: 1,800千円); 2010年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円); 2009年度: 1,560千円 (直接経費: 1,200千円、間接経費: 360千円); 2008年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円); 2007年度: 3,380千円 (直接経費: 2,600千円、間接経費: 780千円)
• キーワード: 知能ロボット / 強化学習 / ニューラルネット / 高次機能 / リカレントニューラルネット / コミュニケーション学習 / エッジ画像 / 適正度の履歴 / 色の恒常性 / 知能創発 / 高次機能創発 / シンボル / 予測 / 探索 / 記憶 / 意味付け / 自律学習 / 合目的性 / 離散状態遷移 / 乗算ニューロン / 決定論的知的探索 / 空間的抽象化 / 時間的抽象化

研究概要

センサからモータまでをニューラルネットで接続し、強化学習による自律的な学習によって「高次機能創発」を目指した。一つの柱である「シンボル処理」の創発に関しては大きな成果を示すことができなかったが、報酬獲得のためには画像上の矢印の向きの判別と記憶が必要な可動カメラを用いたタスクで、画像から向きの抽出と記憶を実現できたことを始め、単なる報酬や罰からの学習で「抽象化」「記憶」「予測」「探索」などの高次と呼べる機能の創発を示した。

研究成果

• [雑誌論文] Acquisition of Deterministic Exploration and Purposive Memory through Reinforcement Learning with a Recurrent Neural Network (2010)
  • 著者名/発表者名: Kenta Goto, Katsunari Shibata
  • 雑誌名: Proc.of SICE Annual Conf. 2010
  • 査読あり
• [雑誌論文] Emergence of prediction by reinforcement learning using a recurrent neural network (2010)
  • 著者名/発表者名: Kenta Goto, Katsunari Shibata
  • 雑誌名: Journal of Robotics Vol.2010
  • 査読あり
• [雑誌論文] Acquisition of Deterministic Exploration and Purposive Memory throuh Reinforcement Learning with a Recurrent Neural Network (2010)
  • 著者名/発表者名: Kenta Goto, Katsunari Shibata
  • 雑誌名: Proc.of SICE Annual Conf.2010 巻: (CD-ROM)
  • 査読あり
• [雑誌論文] Learning of Camera Motion and Object Recognition Using Actor-Q Architecture (2010)
  • 著者名/発表者名: Armad Afif Mohd Faudi, Katsunari Shibata
  • 雑誌名: Proc.of SICE Annual Conf.2010 巻: (CD-ROM)
  • 査読あり
• [雑誌論文] Emergence of prediction by reinforcement learning using a recurrent neural network (2010)
  • 著者名/発表者名: Kenta Goto, Katsunari Shibata
  • 雑誌名: Journal of Robotics 巻: 2010
  • 査読あり
• [雑誌論文] Acquisition of Flexible Image Recognition by Coupling of Reinforcement Learning and a Neural Network (2009)
  • 著者名/発表者名: Katsunari Shibata, Tomohiko Kawano
  • 雑誌名: SICE Journal of Control, Measurement, and System Integration (JCMSI) Vol.2, No.2 ページ: 122-129
  • NAID: 10031152631
  • 査読あり
• [雑誌論文] Learning of Action Generation from Raw Camera Images in a Real-World-like Environment by Simple Coupling of Reinforcement Learning and a Neural Network (2009)
  • 著者名/発表者名: Katsunari Shibata, Tomohiko Kawano
  • 雑誌名: Advances in Neuro-Information Processing, Lecture Notes in Computer Science Vol.5506 ページ: 755-762
  • 査読あり
• [雑誌論文] Contextual Behavior and Internal Representations Acquired by Reinforcement Learning with a Recurrent Neural Network in a Continuous State and Action Space Task (2009)
  • 著者名/発表者名: Hioroki Utsunomiya, Katsunari Shibata
  • 雑誌名: Lecture Notes in Computer Science Vol.5507 ページ: 970-978
  • 査読あり
• [雑誌論文] Learning of Action Generation from Raw Camera Images in a Real-World-like Environment by Simple Coupling of Reinforcement Learning and a Neural Network (2009)
  • 著者名/発表者名: Katsunari Shibata, Tomohiko Kawano
  • 雑誌名: Advances in Neuro-Information Processing, Lecture Notes in Computer Science 5506 ページ: 755-762
  • 査読あり
• [雑誌論文] Improvement of Practical Recurrent Learning Method and Application to a Pattern Classification Task (2009)
  • 著者名/発表者名: Mohamad Faizal Bin Samsudin, Katsunari Shibata
  • 雑誌名: Advances in Neuro-Information Processing, Lecture Notes in Computer Science 5507 ページ: 631-638
  • 査読あり
• [雑誌論文] Contextual Behavior and Internal Representations Acquired by Reinforcement Learning with a Recurrent Neural Network in a Continuous State and Action Space Task (2009)
  • 著者名/発表者名: Hioroki Utsumomiya, Katsunari Shibata
  • 雑誌名: Advances in Neuro-Information Processing, Lecture Notes in Computer Science 5507 ページ: 970-978
  • 査読あり
• [雑誌論文] Effect of number of hidden neurons on learning in large-scale layered neural networks (2009)
  • 著者名/発表者名: Katsunari Shibata, Yusuke Ikeda
  • 雑誌名: Proc.of ICCAS-SICE(ICROS-SICE Int'l Joint Conf.)2009 ページ: 5008-5013
  • 査読あり
• [雑誌論文] Acquisition of Flexible Image Recognition by Coupling of Reinforcement Learning and a Neural Network (2008)
  • 著者名/発表者名: Katsunari Shibata, Tomohiko Kawano
  • 雑誌名: SICE Journal of Control, Measurement, and System Integration (JCMSI) Vol.2, No.2
  • NAID: 10031152631
  • 査読あり
• [雑誌論文] Practical Recurrent Learning (PRL)in the Discrete Time Domain (2008)
  • 著者名/発表者名: Mohamad Faizal Bin Samsudin, Takeshi. Hirose, Katsunari. Shibata
  • 雑誌名: Neural Information Processing of Lecture Notes in Computer Science, (Proc. of Intl Conf. on Neural Information Processing System) Vol. 4984 ページ: 228-237
  • 査読あり
• [雑誌論文] Acquisition of Flexible Image Recognition by Coupling of Reinforcement Leaming and a Neural Network (2008)
  • 著者名/発表者名: Katsunari Shibata, Tomohiko Kawano
  • 雑誌名: SICE Journal of Control, Measurement, and System Integration (JCMSI) Vol. 2, No. 2 ページ: 122-129
  • 査読あり
• [雑誌論文] 強化学習により対象物検出行動を学習した画像入力ニューラルネットにおける中間層ニューロンの解析 (2008)
  • 著者名/発表者名: 柴田克成, 河野友彦
  • 雑誌名: 第18回インテリジェント・システム・シンポジウム(FAN2008)講演予稿集 ページ: 145-150
• [雑誌論文] リカレントネットを用いた強化学習による記憶を利用した探索行動の学習 (2008)
  • 著者名/発表者名: 後藤健太, 柴田克成
  • 雑誌名: 第61回電気関係学会九州支部連合大会講演論文集 (CD-ROM)
  • NAID: 130005033184
• [雑誌論文] Practical Recurrent Learning (PRL) in the Discrete Time Domain (2007)
  • 著者名/発表者名: Mohamad Faizal Bin Samsudin, Takeshi. Hirose, Katsunari. Shibata
  • 雑誌名: Proc. of Int'l Conf. on Neural Information Processing System (CD-ROM)
  • 査読あり
• [雑誌論文] 画像入カニューラルネットを用いた強化学習による可動カメラの対象物検出行動 (2007)
  • 著者名/発表者名: 河野友彦, 幸和芳, 柴田克成
  • 雑誌名: 第26回計測自動制御学会九州支部学術講演会予稿集 ページ: 155-158
• [雑誌論文] リカレント型ニューラルネットの実用的な学習則である離散時間PRL学習法 (2007)
  • 著者名/発表者名: Mohamad Faizal Bin Samsudin, 廣瀬武志, 柴田克成
  • 雑誌名: 第26回計測自動制御学会九州支部学術講演会予稿集 ページ: 57-60
• [雑誌論文] 複数の隠れニューロンの生成が可能な成長型ニューラルネットの構築 (2007)
  • 著者名/発表者名: 由崎高志, 柴田克成
  • 雑誌名: 第26回計測自動制御学会九州支部学術講演会予稿集 ページ: 53-56
• [学会発表] 強化学習によるパターンの意味付けと記憶に基づく行動の獲得 (2010)
  • 著者名/発表者名: 柴田克成, 沢津橋由人, 宇都宮浩樹
  • 学会等名: 計測自動制御学会九州支部学術講演会
  • 発表場所: 宮崎大学
  • 年月日: 2010-12-05
• [学会発表] 可動カメラを用いたActor-Q学習による能動認識の学習 (2010)
  • 著者名/発表者名: Armad Afif bin Mohd Faudi, 柴田克成
  • 学会等名: 計測自動制御学会九州支部学術講演会
  • 発表場所: 宮崎大学
  • 年月日: 2010-12-05
• [学会発表] 強化学習によるパターンの意味付けと記憶に基づく行動の獲得 (2010)
  • 著者名/発表者名: 柴田克成, 沢津橋由人, 宇都宮浩樹
  • 学会等名: SICE九州支部学術講演会
  • 発表場所: 宮崎大学
  • 年月日: 2010-12-05
• [学会発表] 可動カメラを用いたActor-Q学習による能動認識の学習 (2010)
  • 著者名/発表者名: Armad Afif bin Mohd Faudi, 柴田克成
  • 学会等名: SICE九州支部学術講演会
  • 発表場所: 宮崎大学
  • 年月日: 2010-12-05
• [学会発表] 強化学習とリカレントネットを用いた並列で柔軟な学習制御システムの枠組み (2010)
  • 著者名/発表者名: 高津聡志, 柴田克成
  • 学会等名: SICE九州支部学術講演会
  • 発表場所: 宮崎大学
  • 年月日: 2010-12-04
• [学会発表] ニューラルネットを用いた強化学習による空間情報の抽象化と知識継承 (2009)
  • 著者名/発表者名: 柴田克成
  • 学会等名: SICE九州支部学術講演会
  • 発表場所: 九州大学伊都キャンパス
  • 年月日: 2009-11-29
• [学会発表] ニューラルネットと強化学習を用いた音声によるコミュニケーションの自律学習 (2009)
  • 著者名/発表者名: 笹原冬月, 柴田克成
  • 学会等名: SICE九州支部学術講演会
  • 発表場所: 九州大学伊都キャンパス
  • 年月日: 2009-11-29
• [学会発表] リカレントニューラルネットを用いた強化学習による予測機能の創発 (2009)
  • 著者名/発表者名: 後藤健太, 松本康生, 柴田克成
  • 学会等名: SICE九州支部学術講演会
• [学会発表] Improvement of Practical Recurrent Learning Method and Application into a Patt em Classification Task (2008)
  • 著者名/発表者名: Mohamad Faizal Samsudin, Katsunari Shibata
  • 学会等名: Int'l Conf. on Neural Information Processing System (ICONIP)08
  • 発表場所: Auckland, New Zealand
  • 年月日: 2008-11-27
• [学会発表] Contextual Behaviors and Internal Representations Acquired by Reinforcement Leaming with a Recurrent Neural Network in a Continuous State and Action Space Task (2008)
  • 著者名/発表者名: Hiroki, Utsunomiya, Katsunari Shibata
  • 学会等名: Int'l Conf. 0n Neural Information Processing System (ICONIP)08
  • 発表場所: Auckland, New Zealand
  • 年月日: 2008-11-27
• [学会発表] Learning of Action Generation from Raw Camera Images in a Real-World-like Environment by Simple Coupling of Reinforcement Learning and a Neural Network (2008)
  • 著者名/発表者名: Katsunari Shibata, Tomohiko Kawano
  • 学会等名: Int'l Conf. on Neural Information Processing System (ICONIP)08
  • 発表場所: Auckland, New Zealand
  • 年月日: 2008-11-26
• [学会発表] リカレントネットを用いた強化学習による記憶を利用した探索行動の学習 (2008)
  • 著者名/発表者名: 後藤健太, 柴田克成
  • 学会等名: 電気関係学会九州支部連合大会
• [図書] Emergence of Intelligence through Reinforcement Learning with a Neural Network(Advances in Reinforcement Learning, InTech)(Abdelhamid Mellouk (Ed.)) (2011)
  • 著者名/発表者名: 柴田克成
• [図書] ニューラルネットワーク(「ロボット情報学ハンドブック」,ナノオプトニクスエナジー,第7.5節) (2010)
  • 著者名/発表者名: 柴田克成
• [図書] Advances in Reinforcement Learning (2010)
  • 著者名/発表者名: Katsunari Shibata
  • 出版者: InTech
• [図書] 「ロボット情報学ハンドブック」(第7.5節 ニューラルネットワークのみ) (2010)
  • 著者名/発表者名: 柴田克成
  • 総ページ数: 13
  • 出版者: ナノオプトニクスエナジー
• [備考] ホームページ等
• [備考] 解説記事:柴田克成、強化学習とニューラルネットによる知能創発,計測と制御, Vol. 48, No. 1, pp. 106--111, 2009.1 webページ
  • URL: http://shws.cc.oita-u.ac.jp/~shibata/home-j.html
• [備考]
  • URL: http://shws.cc.oita-u.ac.jp/~shibata/home-j.html