| 研究概要 |
(1)知識の切り替え機能の検証
高次機能の学習に向けて,ニューラルネット内部の状態が離散的に状態遷移をすることを柔軟に学習することが求められる。それに向けて,筆者は乗算ニューロンの導入が有効と考えている。その第一段階として,複数の完全に分離されたネットワークよりなる従来のMixture of Expertsを,複数の出力を持つ一つのネットワークで構成し,最後にその複数の出力の一つをゲーティング信号として,他の出力信号をゲーティングするニューラルネットで,うまくゲーティングをすれば誤差が減る簡単な問題を学習させた。そして,ネットワークを分離しなくても,複数の出力が別々の情報を表現し,それをゲーティング信号によって適切にゲーティングすることを学習によって獲得できることを確認した。
(2)知的探索と時間的抽象化
リカレントニューラルネットを用いて文脈を利用して効率的に部屋の出口を探す問題を学習させたエージェントを,4つの部屋を探索してゴールを探す問題に適用して学習させた。そして,最初の1つの部屋での学習によって4つの部屋での学習が加速され,さらに学習を積むことでより効率的に探索できるようになることを確認した。また,最終的に獲得すべき行動においては文脈を利用する必要がない場合でも,文脈を利用すると探索が有利にできる場合に,学習によって文脈を利用した探索を行なうようになることを確認した。
(3)強化学習による予測すべき情報の発見
強化学習の前に状態予測をした信号を利用すると良いと一般的に言われていることに対し,膨大なセンサ信号の中からいつの時点の何を予測するかを決定することの困難さを指摘し,リカレントニューラルネットを用いた強化学習で何を予測すべきかまで獲得することを提唱した。そして,対象物体が運動する簡単な問題で,対象物体の将来の位置の情報を表現するニューロンが中間層で発見された。
|
