2006 Fiscal Year Annual Research Report
| Project/Area Number |
17700192
|
|---|
| Research Institution | Kobe University |
|---|
Principal Investigator |
村尾 元 神戸大学, 国際文化学部, 助教授 (70273761)
|
|---|
| Keywords | メタ認知 / 強化学習 / Q-Learning / 機械学習 / 自律移動ロボット |
|---|
| Research Abstract |
本研究の目的は,自己の認知的活動に関する認知を表す「メタ認知」の概念に基づく機械学習を公正することである.これにより,学習器そのものが学習の過程を監視し,ルール抽象化の程度を制御できるようになる.
1)メタ認知に基づく学習モデルの構築
まず,本研究では「メタ認知」を「学習過程を観測し,知識の内部表現を調整する機構」として定義した.なお,ここでは,一般的な機械学習の形式に従って「知識」を「特定の入力信号に対して出力信号を決定する単一のルール」とした.メタ認知の学習モデルは,このルール間の重複と矛盾を観測し,重複があればルールの統合を,矛盾があればルールを分割するというメタ学習機構によって実現されることとした.
2)メタ認知に基づく強化学習アルゴリズムの構築
1で構築したメタ認知の学習モデルを,代表的な機械学習である強化学習法のひとつQ学習に適用した.Q学習では,センサ入力に対する行動の出力確率をQ値というスカラー値によって決定する.このとき,同じセンサ入力に対するQ値の集合が,メタ認知学習モデルにおけるルールに対応すると考える.静的な環境においては,ルールが適切であれば,十分に学習が進んだ後,ある特定の行動に対する確率が高くなるように,対応するQ値が大きくなる.ルールに「矛盾」がある場合は,単一のセンサ入力に対して複数の行動の確率が同時に高くなり,ルールに「重複」がある場合は,異なるセンサ入力に対して同一の行動の確率が高くなると仮定し,Q学習にメタ学習に基づく学習機構を組み込んだ.
3)移動ロボットを用いた検証
2で構築した強化学習アルゴリズムを実装し,二輪型の移動ロボットのシミュレータを用いて実験を行った.また,これを市販の四足移動ロボットであるSONY社のAIBOに実装して実験を行った.この結果,メタ認知学習モデルが適切に動作していることを確認した.
|
Research Products
(2 results)
