2017 Fiscal Year Research-status Report
継続的強化学習エージェントとコーチ役による自律学習システムの設計
| Project/Area Number |
16K00317
|
|---|
| Research Institution | Nara National College of Technology |
|---|
Principal Investigator |
山口 智浩 奈良工業高等専門学校, 情報工学科, 教授 (00240838)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
高玉 圭樹 電気通信大学, 大学院情報理工学研究科, 教授 (20345367)
|
|---|
| Project Period (FY) |
2016-04-01 – 2019-03-31
|
| Keywords | 継続的学習 / 上達過程の可視化 / 学習目標空間 / 冗長解 / 逆強化学習 / 派生問題生成 / 学習目標の空白域 / 気づき支援 |
|---|
| Outline of Annual Research Achievements |
本研究では，人の継続的な学習能力の向上およびその上達過程の可視化に向けて，本年度は次の項目を実施した.
これらの研究成果を，計測自動制御学会，システム・情報部門 学術講演会 2017 (SSI2017)，計測自動制御学会，第45回知能システムシンポジウム2018等の国内学会， ヒューマンコンピュータインタラクション国際会議(HCII2017)において発表し，英文ジャーナル, Book in chapter paper等に英語論文が５件採録された．
・項目2：学習者の上達を支えるコーチ機能のモデル化と設計
学習者の上達を支えるコーチ役(学習者を適切に学習させるための目標(＝問題)を生成する)エージェントを設計するために，冗長解が潜在的に持つ未知の価値観への気づきを促す機能として，まず，冗長解を振り返り，冗長解上に新たな学習目標を追加することで派生問題を生成する機能を考案した．次に冗長解の潜在的な価値推定の自動化手法として冗長解の逆強化学習によって新たな目標を推定し，それらを加えた派生問題生成を実現した．
・項目3-2：学習目標空間での冗長解と派生目標との関係の可視化手法の設計
学習目標空間での冗長解と派生目標との関係を可視化するために，昨年度作成した実験システムを用いて，学習者が発見した冗長解についてその解が持つ派生目標を学習目標空間上で提示し，発見した派生目標間の位置関係を可視化することで，未発見目標領域（空白域）を間接的に可視化する手法を実現した．その有効性を実験的に検証するために被験者による比較実験を行なった．その結果，学習者の発見した目標が既存目標領域に近いか遠いか，すなわち学習の空白域との関係を示唆する提示条件が上達過程において学習フィードバック情報として重要で，未知の価値観への気づきを促す条件であることが示唆された．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
今年度の研究目的をおおむね達成し，その研究成果の公表として，雑誌論文等5件，
国際会議発表1件，国内学会5件の成果発表を行なった．
さらに2018年度に国際会議発表2件を予定しているため
|
| Strategy for Future Research Activity |
以下の研究計画通り推進する．
・項目4：自律学習システムの構築と継続的学習能力の評価
前年度までに考案した要素技術を組み合わせて，継続的に人の学習能力を向上させ，その上達過程を可視化可能な継続的な自律学習システムを構築し，その有効性を検証する．具体的には，
(1) 一括強化学習における冗長解収集の網羅性・高速性の評価，(2) 冗長解からの逆強化学習による学習目標(＝問題)および派生問題の生成，(3) 学習目標空間での発見した冗長解が持つ派生目標集合による上達過程の方向性・広がりの分析，
これらの分析結果を元に，提案システムの総合評価を研究協力者の下原教授(同志社大学)から受ける．
|
-
-
-
-
[Journal Article] Supporting the Exploration of the Learning Goals for a Continuous Learner toward Creative Learning2017
Author(s)
Okudo, T., Yamaguchi, T., Murata, A., Tatsumi, T., Uwano, F. and Takadama, K.
-
Journal Title
Journal of Advanced Computational Intelligence and Intelligent Informatics (JACIII)
Volume: Vol. 21, No. 5
Pages: 907-916
DOI
Peer Reviewed / Open Access
-
-
-
-
-
-
-
-
