2010 Fiscal Year Annual Research Report
ニューラルネットを用いた強化学習で,どこまで高次機能の創発が説明できるかへの挑戦
| Project/Area Number |
19300070
|
|---|
| Research Institution | Oita University |
|---|
Principal Investigator |
柴田 克成 大分大学, 工学部, 准教授 (10260522)
|
|---|
| Keywords | 強化学習 / リカレントニューラルネット / コミュニケーション学習 / エッジ画像 / 適正度の履歴 / 色の恒常性 / 知能創発 / 高次機能 |
|---|
| Research Abstract |
1.離散状態間遷移の学習とシンボル・論理的思考
リカレントネットによる多段階の記憶や振動子の学習が困難であったことから、ネットワーク構造と初期重み値による学習能力の違いを観察し、大きな差があることがわかった。そのような違いが生じる原因について、今後より深い解析が必要である。
一方、論理的思考は他者とのコミュニケーションから発現するのではないかとの仮説に基づき、カメラでロボットをとらえた画像を入力として、スピーカーから出力する音声の周波数を決定するニューラルネットと、その音声をマイクでとらえた信号を入力し、ロボットに送る動作信号を決めるニューラルネットを作成し、ロボットがゴールに到着した際の報酬に基づく強化学習で両ニューラルネットを学習させた結果、合目的的なコミュニケーションの獲得が確認できた。この際、発信側のエージェントがロボットを動かす経験をしておくこと、さらに、受信側のエージェントが、信号からロボット動作への変換に学習初期から相関を持たせることが重要であることがわかった。
2.空間情報の抽象化と予測・概念形成画像をそのまま入力して強化学習をさせることで、入力情報の合目的的抽象化を目指した実験において、エッジ画像の入力への追加による学習結果の汎用性向上を試みた。教師あり学習によるパターン認識学習では期待通りの結果が出たが、可動カメラを用いた矢印の概念形成の強化学習による実験では、期待通りの結果が得られなかった。今後、原因究明が必要である。
一方、強化学習とニューラルネットを用いた簡単なタスクの学習において、照明条件の変化によらない行動の学習によって「色恒常性」の錯視が起こるとの仮説をサポートする結果を得た。
3.決定論的知的探索と時間的抽象化・好奇心
「適性度の履歴」を導入し、学習アルゴリズムやニューラルネットの使用の有無による有効性の違いを簡単な例題を元に観察した。
|
