2022 Fiscal Year Research-status Report
The Development of educational system using imitation learning agent which imitates learner's behavior
| Project/Area Number |
19K12260
|
|---|
| Research Institution | Osaka Electro-Communication University |
|---|
Principal Investigator |
植野 雅之 大阪電気通信大学, 総合情報学部, 准教授 (50300348)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
高見 友幸 大阪電気通信大学, 総合情報学部, 教授 (50300314)
|
|---|
| Project Period (FY) |
2019-04-01 – 2024-03-31
|
| Keywords | 模倣学習エージェント / 説明可能なAI |
|---|
| Outline of Annual Research Achievements |
昨年度までの研究では、機械学習を用いた模倣学習エージェントの構築に注力した。特に、論理的ボードゲームの戦術・戦略的スキルの学習に重点を置き、大量の棋譜データを用いてその生成に取り組んだ。しかし、模倣学習エージェントを自分自身や他人と対戦させ、または多数の模倣学習エージェント同士の仮想対戦を通じた学習方法は、必ずしも十分な教育効果を保証するものではなかった。そこで、「プレイ戦略分析システム」の開発を進め、学習者の戦略の理解と分析を支援しようとした。しかし、このシステムの構築には困難が伴い、完全な支援機能の実現は困難であるとの結論に達した。その中で、解決策として見い出したのが説明可能なAI（XAI）の導入であった。XAIは機械学習が学習した内容を人間が解釈可能にする技術で、ブラックボックス化されたモデルをホワイトボックス化し、理解可能にする。
このXAIを模倣学習エージェントに導入することで，「局所説明」によって、エージェントがある局面での行動を選択する際に、具体的に盤面のどの部分が影響を及ぼしているかを明確にすることが可能となった。これにより、学習者がエージェントの振る舞いやその背後にある戦略的思考を改めて確認することができる。
現在，我々は模倣学習エージェントの学習と利用を実用的なレベルに高めるため，アルゴリズムのパフォーマンス改善をおこなっている。また，戦略の可視化は実現できたが，その意味を読み取ることが難しい場合も多いため，言語化して説明する手法の開発もおこなっている。これにより，学習者はエージェントの行動や戦略をさらに深く理解し、異なるエージェントを比較するといったことが容易におこなえるようになることを期待している．これらの技術開発により，模倣学習エージェントを実用的に利用することが可能であることを実証していきたい．
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
理由：計画では，第1段階は，模倣学習エージェントの開発と検証で，模倣学習エージェントを開発してその性能を検証することとしていた．第2段階は各種支援機能の開発で，この模倣学習エージェントを用いた様々な支援機能を開発することとしていた．第3段階は教育効果の確認としていた．現在，第2段階を実施しており，次は第3段階となる．最終年度を迎えてしまったため，第3段階である教育効果の確認は別の研究機会でおこなう他ないと考えている．一方で模倣学習エージェントが実用的に利用可能かをある程度実証する必要はあると考えており，第3段階に先鞭を付ける形にしたいと考えている．
|
| Strategy for Future Research Activity |
模倣学習エージェントを棋譜から構築すること，模倣学習エージェントがある盤面に対して，そのような評価をおこなうかをXAIを用いてその盤面に対する評価を抽出するという機能については，ソフトウェアの実装・試行は完了している．一方でその学習のパフォーマンス等は必ずしも十分に実用的に利用可能なレベルに達しているとは言いがたい面があるため，利用するアルゴリズムの検討，実証など今後，おこなって，実用的なレベルのパフォーマンスが得られることを実証する研究を実施していく．
また，XAIが出力する盤面評価はその学習者にとっては興味深い情報を示すことになるが，必ずしもその意味を読み取ることができるとは限らないという問題が出てくる．これについては，大規模言語モデル等を用いることにより言語化し，学習者にとって理解可能な情報に変換する機能を実装していきたい．また，可能であれば，模倣学習エージェントなどをリアルタイムで利用できるようにシステムとして実装し，より多人数での実証的な研究などにも手をつけていきたい．
|
| Causes of Carryover |
コロナ渦によって，オンラインでの学会発表などにより出張旅費等が思ったより消費されなかったため.また，棋譜収集などのために確保していた人件費分の作 業が研究室学生によるボランティアでまかなえたため.
|
