• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2010 年度 実績報告書

ニューラルネットを用いた強化学習で,どこまで高次機能の創発が説明できるかへの挑戦

研究課題

研究課題/領域番号 19300070
研究機関大分大学

研究代表者

柴田 克成  大分大学, 工学部, 准教授 (10260522)

キーワード強化学習 / リカレントニューラルネット / コミュニケーション学習 / エッジ画像 / 適正度の履歴 / 色の恒常性 / 知能創発 / 高次機能
研究概要

1.離散状態間遷移の学習とシンボル・論理的思考
リカレントネットによる多段階の記憶や振動子の学習が困難であったことから、ネットワーク構造と初期重み値による学習能力の違いを観察し、大きな差があることがわかった。そのような違いが生じる原因について、今後より深い解析が必要である。
一方、論理的思考は他者とのコミュニケーションから発現するのではないかとの仮説に基づき、カメラでロボットをとらえた画像を入力として、スピーカーから出力する音声の周波数を決定するニューラルネットと、その音声をマイクでとらえた信号を入力し、ロボットに送る動作信号を決めるニューラルネットを作成し、ロボットがゴールに到着した際の報酬に基づく強化学習で両ニューラルネットを学習させた結果、合目的的なコミュニケーションの獲得が確認できた。この際、発信側のエージェントがロボットを動かす経験をしておくこと、さらに、受信側のエージェントが、信号からロボット動作への変換に学習初期から相関を持たせることが重要であることがわかった。
2.空間情報の抽象化と予測・概念形成画像をそのまま入力して強化学習をさせることで、入力情報の合目的的抽象化を目指した実験において、エッジ画像の入力への追加による学習結果の汎用性向上を試みた。教師あり学習によるパターン認識学習では期待通りの結果が出たが、可動カメラを用いた矢印の概念形成の強化学習による実験では、期待通りの結果が得られなかった。今後、原因究明が必要である。
一方、強化学習とニューラルネットを用いた簡単なタスクの学習において、照明条件の変化によらない行動の学習によって「色恒常性」の錯視が起こるとの仮説をサポートする結果を得た。
3.決定論的知的探索と時間的抽象化・好奇心
「適性度の履歴」を導入し、学習アルゴリズムやニューラルネットの使用の有無による有効性の違いを簡単な例題を元に観察した。

  • 研究成果

    (7件)

すべて 2010

すべて 雑誌論文 (3件) (うち査読あり 3件) 学会発表 (3件) 図書 (1件)

  • [雑誌論文] Acquisition of Deterministic Exploration and Purposive Memory throuh Reinforcement Learning with a Recurrent Neural Network2010

    • 著者名/発表者名
      Kenta Goto, Katsunari Shibata
    • 雑誌名

      Proc.of SICE Annual Conf.2010

      巻: (CD-ROM) ページ: FB03-1

    • 査読あり
  • [雑誌論文] Learning of Camera Motion and Object Recognition Using Actor-Q Architecture2010

    • 著者名/発表者名
      Armad Afif Mohd Faudi, Katsunari Shibata
    • 雑誌名

      Proc.of SICE Annual Conf.2010

      巻: (CD-ROM) ページ: FB03-2

    • 査読あり
  • [雑誌論文] Emergence of prediction by reinforcement learning using a recurrent neural network2010

    • 著者名/発表者名
      Kenta Goto, Katsunari Shibata
    • 雑誌名

      Journal of Robotics

      巻: 2010 ページ: ID 437654

    • 査読あり
  • [学会発表] 強化学習によるパターンの意味付けと記憶に基づく行動の獲得2010

    • 著者名/発表者名
      柴田克成, 沢津橋由人, 宇都宮浩樹
    • 学会等名
      SICE九州支部学術講演会
    • 発表場所
      宮崎大学
    • 年月日
      2010-12-05
  • [学会発表] 可動カメラを用いたActor-Q学習による能動認識の学習2010

    • 著者名/発表者名
      Armad Afif bin Mohd Faudi, 柴田克成
    • 学会等名
      SICE九州支部学術講演会
    • 発表場所
      宮崎大学
    • 年月日
      2010-12-05
  • [学会発表] 強化学習とリカレントネットを用いた並列で柔軟な学習制御システムの枠組み2010

    • 著者名/発表者名
      高津聡志, 柴田克成
    • 学会等名
      SICE九州支部学術講演会
    • 発表場所
      宮崎大学
    • 年月日
      2010-12-04
  • [図書] Advances in Reinforcement Learning2010

    • 著者名/発表者名
      Katsunari Shibata
    • 総ページ数
      99-120
    • 出版者
      InTech

URL: 

公開日: 2012-07-19  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi