2019 Fiscal Year Research-status Report
The Development of educational system using imitation learning agent which imitates learner's behavior
| Project/Area Number |
19K12260
|
|---|
| Research Institution | Osaka Electro-Communication University |
|---|
Principal Investigator |
植野 雅之 大阪電気通信大学, 総合情報学部, 准教授 (50300348)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
高見 友幸 大阪電気通信大学, 総合情報学部, 教授 (50300314)
和田 慎二郎 プール学院短期大学, 秘書科, 准教授 (70321114)
|
|---|
| Project Period (FY) |
2019-04-01 – 2024-03-31
|
| Keywords | 模倣学習エージェント / 機械学習 |
|---|
| Outline of Annual Research Achievements |
本研究の目的は，機械学習を用いて，学習者の振る舞いを学習する模倣学習エージェントを構築し，これを教育エージェントとして利用する方法を模索することである．その一つの題材として，論理的ボードゲームの戦術・戦略的スキルの学習を取り上げている．
当初計画においては，初年度に実施する内容として，人間の学習者の論理的ボードゲーム上での振る舞いを模倣することができる模倣学習エージェントの構築，及び，構築した模倣学習エージェントにより，どの程度，学習者を模倣できるかを検証を挙げていた．
実際の初年度の研究実施内容としては，リバーシを対象にして，研究室レベルでの小規模の棋譜の収集，及び，それを用いた模倣学習エージェントのプロトタイプの構築を試みた．現時点では棋譜からの機械学習は必ずしもうまくいっておらず，学習をおこなったエージェントは人間の行動を十分に模倣することができていない．従って，棋譜の収集方法，機械学習のアルゴリズムの再検討，全体構成など，技術面での見直しが必要となっている．
一方で当初計画にはなかったが，模倣学習エージェントを用いた支援機能の検討を進めることができた．模倣学習エージェントが学習した情報を元に，プレイ戦略分析システムを構成し，評価値可視化機能，戦略分析機能などで，これまでなかった支援機能を提案できることがわかった．また，当初，「模倣学習エージェントに記号処理的な手法により，戦術ルールを表現して付け加えることで強化する機能を開発し，ルールについての試行錯誤がおこなえるようにする」ということを検討していたが，これには技術面，機能面で多くの問題があり，現時点では有効な支援とならないという認識に至っている．
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
当初計画では，以下の五段階で研究をおこなうとしていた．第1段階，人間の学習者の論理的ボードゲーム上での振る舞いを模倣することができる模倣学習エージェントを構築．第2段階，構築した模倣学習エージェントにより，どの程度，学習者を模倣できるかを検証，第3段階，構築した模倣学習エージェントを単独で用いることにより，想定する教育効果が得られるかを確認．第4段階，模倣学習エージェントに記号処理的な手法により，戦術ルールを表現して付け加えることで強化する機能を開発．第5段階，実際に複数の学習者に適用し，学習環境全体としての教育効果を調査．である．
この全体計画自体は現時点では見直す必要がでてきているが，この計画からすると，現在の状況では，第１段階が完了していないことになる．しかし，元々，研究内容として技術的難易度が高いことは当然であり，あまりうまくいうまくいっていないながらも棋譜の収集，プロトタイプの開発などは既におこなっていることを考えると，「やや遅れている」が適当であると考えている．また，次のセクションで述べる幾つかの対策によって，現在の進行の遅れは十分に挽回できるものと考えている．
|
| Strategy for Future Research Activity |
当面は，模倣学習エージェントのプロトタイプ開発，すなわち，棋譜の収集，棋譜からの機械学習に注力していく．現在検討・準備している解決策としては，機械学習に用いるニューラルネットワークに事前学習を施しておく方法で，一定程度，プレイヤーが持つ戦略を分析・分類した上で棋譜を収集し，それを用いて機械学習をおこなったネットワークを用いることで，わずかな棋譜からの学習を可能にするという方法である．
計画の第４段階で開発するとしていた機能などにも問題があるため，全体計画についても見直しをおこないたい．５段階でまとめているが，段階によって，規模の大小のばらつき，内容の重複があり，次の３段階にまとめ直したい．第１段階は，模倣学習エージェントの開発と検証で，少数の棋譜から，その戦略を機械学習により模倣することのできる模倣学習エージェントを開発し，その性能を検証する．第２段階は各種支援機能の開発で，この模倣学習エージェントを用いた様々な支援機能を開発する．第３段階は教育効果の確認で，研究室レベルを超えた人数の被験者を用いて教育効果を確認する実験をおこなう．
年次対応としては，第１段階が2～3年度，第２段階が3～4年度，第３段階が4～5年度程度が適当であると考えている．
|
| Causes of Carryover |
初年度より機械学習ワークステーションを購入する予定であったが，初年度におこなう研究内容を考えるとプロトタイプ開発などが主で大規模な機械学習をおこなう必要性はなかったためである．また，このレベルの機械学習ワークステーションは年々，新しいチップが発表されるGPUを流用して用いることが多く，早期の購入は入手可能な計算性能の意味で不利となる．5年という比較的長期の研究期間を考えると初年度は研究の進行上，棋譜収集や機械学習モデルの構築，支援機能の考案などに注力した方が良いと考えたからである．
今後は，機械学習ワークステーションが研究上も必要となる機会が増えていくので，この１年以内には購入をおこなう予定である．
|
