2020 Fiscal Year Research-status Report
The Development of educational system using imitation learning agent which imitates learner's behavior
| Project/Area Number |
19K12260
|
|---|
| Research Institution | Osaka Electro-Communication University |
|---|
Principal Investigator |
植野 雅之 大阪電気通信大学, 総合情報学部, 准教授 (50300348)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
高見 友幸 大阪電気通信大学, 総合情報学部, 教授 (50300314)
和田 慎二郎 プール学院短期大学, 秘書科, 教授 (70321114)
|
|---|
| Project Period (FY) |
2019-04-01 – 2024-03-31
|
| Keywords | 模倣学習エージェント / 機械学習 |
|---|
| Outline of Annual Research Achievements |
本研究の目的は，機械学習を用いて，学習者の振る舞いを学習する模倣学習エージェントを構築し，これを教育エージェントとして利用する方法を模索することである．その一つの題材として，論理的ボードゲームの戦術・戦略的スキルの学習を取り上げている．研究を開始した当初は，模倣学習エージェントを構築するための機械学習の方法として，学習者当人のみの棋譜を用いて機械学習をおこなうことを考えていたが，少数の棋譜から機械学習をおこなって模倣学習エージェントを構築することが困難である，多くの棋譜を収集するために時間がかかりすぎてしまう，多くの棋譜を収集する過程で習熟がおこってしまう，などの問題があり，少数の棋譜からの機械学習がおこなえない限り，このようなシステムは実現困難であるという問題に直面することとなった．一方で初心者がこのようなボードゲームを行う場合には，どのような人でも大体同じような考え方を取ることが多い．例えば，オセロでは，多くのコマを返そうとする，将棋では手当たり次第に駒をとろうとするなどは良く見られることである．このように初心者になればなるほど，打ち方が似てくるということに着目し，機械学習の元となる棋譜の収集方法として，当人の棋譜のみを用いるのではなく，様々なプレイヤーから様々な方法で棋譜を広く収集し，その棋譜をおおまかに分類した上で機械学習をおこなった上で当人の棋譜をさらに学習させて用いる方式を考案・提案し，その実証実験に向けてシステム構築を進めている．具体的には，棋譜を収集するためのWebシステム，AI対戦をおこなわせて棋譜収集に用いるための強さや読みの深度を調整できるゲームAI，棋譜の分類方式，あらかじめ用意した棋譜について機械学習をおこなったネットワークを小数の棋譜を元にトレーニングし直すシステムなどである．
|
| Current Status of Research Progress |
Current Status of Research Progress
4: Progress in research has been delayed.
Reason
計画では，第1段階は，模倣学習エージェントの開発と検証で，模倣学習エージェントを開発して，その性能を検証する．第2段階は各種支援機能の開発で，この模倣学習エージェントを用いた様々な支援機能を開発する．第3段階は教育効果の確認で，研究室レベルを超えた人数の被験者を用いて教育効果を確認する実験としていた．
研究を開始した当初は，模倣学習エージェントを構築するための機械学習の方法として，学習者当人のみの棋譜を用いて機械学習をおこなうことを考えていたが，機械学習の元となる棋譜の収集方法として，当人の棋譜のみを用いるのではなく，様々なプレイヤーから様々な方法で棋譜を広く収集し，その棋譜をおおまかに分類した上で機械学習をおこなった上で当人の棋譜をさらに学習させて用いる方式を考案・提案し，その実証実験に向けてシステム構築を進めている．すなわち，現時点で第１段階を完成できていない状態となっており，計画全体としては遅れていると言わざるを得ない．
|
| Strategy for Future Research Activity |
機械学習の元となる棋譜の収集方法として，当人の棋譜のみを用いるのではなく，様々なプレイヤーから様々な方法で棋譜を広く収集し，その棋譜をおおまかに分類した上で機械学習をおこなった上で当人の棋譜をさらに学習させて用いる方式を考案・提案し，その実証実験に向けてシステム構築を進めている．当面は，棋譜を収集するためのWebシステム，AI対戦をおこなわせて棋譜収集に用いるための強さや読みの深度を調整できるゲームAI，棋譜の分類方式，あらかじめ用意した棋譜について機械学習をおこなったネットワークを小数の棋譜を元にトレーニングし直すシステムなどを構築し，これを用いて効率的に模倣学習エージェントを構築できるかどうかを検証する．
|
| Causes of Carryover |
初年度より機械学習ワークステーションを購入する予定であったが，初年度におこなう研究内容を考えるとプロトタイプ開発などが主で大規模な機械学習をおこ なう必要性はなかったためである．また，このレベルの機械学習ワークステーションは年々，新しいチップが発表されるGPUを流用して用いることが多く，早期 の購入は入手可能な計算性能の意味で不利となる．5年という比較的長期の研究期間を考えると初年度は研究の進行上，棋譜収集や機械学習モデルの構築，支援 機能の考案などに注力した方が良いと考えたからである．
実際，昨年度後半で購入するつもりであったが，残念ながら購入に踏み切ろうとした矢先，コロナ感染拡大による半導体需要の増大に伴い入手困難となってしまったため，購入に至らなかった．入手困難が落ち着き次第，購入したいたと考えている．
|
