| 研究概要 |
本研究の目的は,自己の認知的活動に関する認知を表す「メタ認知」の概念に基づく機械学習を構成することである.今年度は,学習モデルの構築とこの学習モデルに基づく強化学習法の構築,そして車輪移動型ロボットのシミュレータを用いた強化学習法の検証を行った.
1.メタ認知に基づく学習モデルの構築
本研究では「メタ認知」を「学習過程を観測し,知識の内部表現を調整する機構」として定義した.なお,ここでは,一般的な機械学習の形式に従って,「知識」を「特定の入力信号に対して出力信号を決定する単一のルール」とした.メタ認知モデルは,このルール間の重複と矛盾を観測し,重複があればルールの統合を,矛盾があればルールを分割するというメタ学習機構によって実現されることとした.
2.メタ認知学習モデルに基づく強化学習法の構築・検証
1.で構築したメタ認知の学習モデルを代表的な機械学習である強化学習法のひとつQ学習に適用した.Q学習では,センサ入力に対する行動の出力確率をQ値というスカラー値によって決定する.このとき,同じセンサ入力に対応するQ値の集合が,メタ認知学習モデルにおけるルールに対応すると考えられる.静的な環境においては,ルールが適切であれば,十分に学習が進んだ後,ある特定の行動の確率が高くなるように対応するQ値が大きくなる.ルールに「矛盾」がある場合は,単一のセンサ入力に対する複数の行動に対応するQ値が同様に大きくなり,ルールに「重複」がある場合は,異なるセンサ入力に対する同一の行動に対応するQ値が大きくなると仮定し,Q学習にメタ認知に基づく学習機構を組み込んだ.これを実装し,2輪型移動ロボットのシミュレータを用いて簡単な実験を行ったところ,メタ認知学習モデルが適切に動作していることを確認した.
|
