| 研究課題/領域番号 |
19K12118
|
|---|
| 研究機関 | 名古屋工業大学 |
|---|
研究代表者 |
森山 甲一 名古屋工業大学, 工学(系)研究科(研究院), 准教授 (10361776)
|
|---|
| 研究期間 (年度) |
2019-04-01 – 2022-03-31
|
| キーワード | マルチエージェントシステム / 強化学習 / 協調 / ゲーム / 進化 |
|---|
| 研究実績の概要 |
本研究では，計算機シミュレーションにより，行動主体（エージェント）が複数存在する環境における協力行動の発生過程を議論する．現実に近い連続的な意思決定を必要とする環境として，複数のエージェントが「協力すべき」コンピュータゲームを対象とし，個々が意思決定方策を強化学習により獲得する．意思決定の結果を各自が自己評価して学習に反映させるものとした時，エージェント間の協力をもたらす自己評価システムが進化により発生するか否か，およびその発生のための要件について考察する．
2020年度はまず，2019年度に調査した「協力すべき」ゲームを用いて，通常の強化学習で協調行動を学習可能かどうかを調査した．「協力すべき」ゲームは一般的に，複数のエージェントが協力して何らかの共通目的を達成するため，繰り返しゲームに存在し強化学習を困難にする，個人の利益と集団の利益が反するジレンマ的状況はあまり考慮しなくても良い．そこで，「協力すべき」ゲームで強化学習が協調行動を学習できるか調査したところ，他者の存在を状態として認識することで，時間はかかるが学習が不可能ではないことが判明した．
2019年度には，これまで繰り返しゲームで利用してきた自己評価手法が，そのままでは使えないことが明らかとなった．そこで，自己評価手法として新たな手法の検討を開始した．深層強化学習において，内部報酬を生成して利用する手法として近年普及しつつある好奇心探索をマルチエージェント環境へ適用する研究を行った．好奇心探索により行動の探索を促進することで，通常の深層強化学習に比べて協調行動の獲得が早くなることが示された．
その他，好奇心探索そのものの性能向上に関する研究や，ゲーム中の探索による意思決定時における非決定性の扱いについての研究，ゲーム以外のシミュレーションにおけるエージェントの協調動作に関する基礎的な研究などを行った．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
4: 遅れている
理由
2019年度の時点で若干遅れていたが，2020年度は新型コロナウイルス感染症の流行の影響が甚大であり，進捗状況としては遅れていると判断せざるを得ない．新型コロナウイルス感染症の影響を具体的に述べると，以下のとおりである．まず，出勤を控えることが要請されて自宅で作業を行わなければならなかったことである．これには，保育園の閉鎖による育児の追加負担も含まれる．さらに，これまでに経験のないオンラインの授業の準備を最優先で行わなければならなかった点が挙げられる．数か月間はほぼ全ての時間がこの作業に費やされた．そして，研究室活動では，学生との連絡もオンラインとなったことにより，意思の疎通や進捗管理が難しかった点が挙げられる．最後に，国際・国内会議の中止や延期により，研究を積極的に発表して意見を求める機会，最新の研究を調査する機会が失われた点が挙げられる．
|
| 今後の研究の推進方策 |
まず，徐々に学会がオンラインで行われるようになったことから，2020年度に得られた成果の対外発表を進めていき，意見を求めていく考えである．さらに，新たな自己評価手法の第一歩として，特定のゲームにおける自己評価システムの検討を始めているが，そのパラメータの進化計算について，シミュレーション実験を行ってデータを蓄積し，改良を進めていく予定である．そして，単一のゲームから，あるカテゴリに含まれる複数のゲームに対応可能な自己評価システムの実現を目指していく．並行して，好奇心探索など，単一エージェントにおいて内部報酬を生成し利用する手法を，マルチエージェント環境へ適用することも進めていく．
|
| 次年度使用額が生じた理由 |
（理由）新型コロナウイルス感染症の影響により，国際・国内会議の現地開催が中止となり，旅費の使用がゼロとなった．さらに，上述のとおり，在宅勤務や授業準備などに多くの時間が取られ，計算機の購入も含め，研究が思うように進まなかった点が挙げられる．
（使用計画）2021年度についても新型コロナウイルス感染症の影響を無視することはできないと考える．オンラインの授業準備については，2020年度の知見があり，またある程度再利用したりすることによって負荷が軽減できると思われるが，対面授業とオンラインの並列実施など，2020年度と異なる点については新たな準備が必要なため，授業準備の負荷について楽観はできない．さらに，流行が落ち着かないと国内・海外出張も不可能であるため，旅費として計上した予算については使用計画が立てられない状況である．
|
