2022 Fiscal Year Annual Research Report
Studies on autonomous learning of agents' organizational formation for system efficiency
| Project/Area Number |
20H04245
|
|---|
| Research Institution | Waseda University |
|---|
Principal Investigator |
菅原 俊治 早稲田大学, 理工学術院, 教授 (70396133)
|
|---|
| Project Period (FY) |
2020-04-01 – 2024-03-31
|
| Keywords | マルチエージェントシステム / 組織行動 / 社会学習 / 機械学習 / 深層強化学習 / グループ化・組織化 / マルチエージェントプランニング |
|---|
| Outline of Annual Research Achievements |
本年度は、COVID-19の影響で遅れた目的2「行動規範の自律的選択による最適組織化の実現」を進め、次に目的3「能力の相互バランスと相互補完を実現する共同グループ構成 」に着手した。
まず昨年度に着手した順序付き協調タスクにおいて、各エージェントが自分の前後のタスクを担当するエージェントを配慮して自己のタスクを決定・遂行する学習方法を提案した。実際に、前段タスク担当のエージェントは、後を担当するエージェントが視野内に入るまで待ち、実行する。タスク毎に協力すべき仲間の同定と、その仲間を考慮した行動を学習したと言える。
第2にマルチエージェントシステムでは相互作用により、仕事をしないことが最適あるいはせずとも十分と学習したり、周囲の学習が先に進んだ影響で学習の機会を失い、行動の質に差のあるグループの発生が頻出する。この課題に対し、作業量や学習機会に不公平であると、それを感知して強化学習のランダム探索の確率を故意に上げて他のエージェントに学習機会を与え、公平な行動を実現する手法を提案した。逆に、学習が不十分なエージェントがいても、全体の要求条件を満たすならば、エネルギーの効率利用の観点からそれらは不要と判断し意図的に停止させ、各環境で真に必要なエージェント数まで自律的に削減させる手法を提案し、国際会議で発表した。
学習機能には頼らない決定的なアルゴリズムによる複数エージェント（ロボットを想定）の同時搬送問題も継続的に進めた。これは、深層（強化）学習のみに頼ると間違った行動を起こすこともあり、それが許されない環境も考慮するためである。今年度は、特に実環境を考慮し、移動に遅延が発生しても継続できる実装が容易な手法を提案した。エージェントの到達性を保証する証明も加え、当該分野でトップ会議のAAMASに採択された。水平・垂直輸送混合問題への適用を想定したアルゴリズムも提案した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
COVID-19後の影響もやや残り、研究協力者の発表機会に遅延はあったが、基本的には、計画通り遂行している。特に、協力すべきエージェントの同定学習、そのために着目した情報の明確化、ならびに協調行動のための特定のエージェントを対象とした行動の学習が生成されたと言える。将来、AIプログラムが、人や組織の代理として行動するときの戦略的行動の学習の基礎の一部ができたと考える。さらに継続的に当該分野のトップレベルの国際会議AAMASにも採択されるなど、国際的にも評価も得ていると考えている。
|
| Strategy for Future Research Activity |
2023年度およびそれ以降については、目的３に向けて研究を進めるとともに、深層学習によらないアルゴリズムベースの研究と、深層強化学習で得られた行動の根拠や正当性を示す研究を進める。具体的には、学習結果の説明性の技術から、逆に人間側からのコントローラビリティの可能性を追求する。
またアルゴリズムに基づく研究は、現状では深層（強化）学習に基づく行動には望まれない行動が含まれることもあり、それを補うため、あるいはそれを許容できない応用分野に適用するために、重要な課題と考えている。また、エージェントが組織行動のために、他の仲間の判断パターンを内部にモデル化し、それらの行動を推定しながら自己の行動を選択・適応させる研究も重要と考えており、この課題についても、今後の研究に向け着手したいと考えている。
|
