| 研究課題/領域番号 |
20K11993
|
|---|
| 研究種目 |
基盤研究(C)
|
| 配分区分 | 基金 |
|---|
| 応募区分 | 一般 |
|---|
| 審査区分 |
小区分61040:ソフトコンピューティング関連
|
|---|
| 研究機関 | 大分大学 |
|---|
研究代表者 |
柴田 克成 大分大学, 理工学部, 教授 (10260522)
|
|---|
| 研究期間 (年度) |
2020-04-01 – 2021-03-31
|
| 研究課題ステータス |
中途終了 (2020年度)
|
| 配分額 *注記 |
3,770千円 (直接経費: 2,900千円、間接経費: 870千円)
2022年度: 1,170千円 (直接経費: 900千円、間接経費: 270千円)
2021年度: 520千円 (直接経費: 400千円、間接経費: 120千円)
2020年度: 2,080千円 (直接経費: 1,600千円、間接経費: 480千円)
|
|---|
| キーワード | ダイナミック強化学習 / 感度 / 感度調整学習（SAL) / エッジオブカオス / カオス性 / カオスニューラルネット / 思考創発 / 多段階状態遷移 |
|---|
| 研究開始時の研究の概要 |
本研究では，申請者が考案した，評価値の変化に基づいてニューラルネットのカオス性，つまり，ダイナミクスの収束，発散を調整する全く新しい強化学習「ダイナミック強化学習」に対し，学習タスクを段階的に，(1)静的なタスクから(2)記憶が必要なタスク，(3)外部の状態変化によって内部での状態変化が必要なタスク，(4)内部で時系列的な予測シミュレーションのような自律的な内部状態遷移が必要なタスクへと変化させ，それぞれの段階での問題点の洗い出しと解決法の模索をしていく。そして，「思考」に必要な「自律的かつ合理的な状態遷移ダイナミクス」の学習による獲得に必須となる核心的技術を先取りして確立することを目指す。
|
| 研究実績の概要 |
（本研究は、研究代表者の退職に伴う資格喪失のため、やむを得ず１年で廃止となった。この実績は廃止までの１年分のものである）
本研究は大きく分けて３つの研究を行った。
【１】感度調整学習(SAL)のまとめ 本研究の主題「カオスベースダイナミック強化学習」の基盤となる「感度調整学習(SAS)」について、各ニューロンでの感度調整でネットワーク全体のダイナミクスを調整できることの理論的背景を整理するとともに、カオスダイナミクスの生成および教師あり学習との併用についての系統的なシミュレーションを行い、論文に投稿した。
【２】ダイナミック強化学習の基礎研究 強化学習に基づいて各ニューロンで感度を変化させることで、ネットワークダイナミクスを直接学習させるダイナミック強化学習の枠組みで、簡易視覚センサを用いて、エージェントが簡単な物体到達タスクを学習できることを示した。さらに、物体との距離および角度の情報をセンサ入力とした場合でも、同様に学習できた。また、外部入力に対し、フィードバック入力の学習係数を外部入力より小さくした方が性能は良かった。想定していた学習による感度の減少はみられなかった。また、TD誤差が正の際の出力の維持拘束により、この学習係数の差のために感度が増加する場合があることがわかった。
【３】ダイナミック教師あり学習の基礎検討 ダイナミクスを直接学習させる考え方を教師あり学習にも導入できるかの基礎検討を行なった。入出力に10ステップの時間差のあるEXOR問題の学習を、誤差の時間平均と現在の誤差との差に基づいて感度を変化させた。(出力ニューロンは通常の誤差勾配で学習) そして、出力ニューロンの学習だけではできなかったものが、この学習を導入することで正しい出力が得られるようになった。
感度を通してダイナミクスを直接学習させるという新しい学習の枠組みがある程度動作することが確認できた。
|
