2021 Fiscal Year Annual Research Report
Studies on autonomous learning of agents' organizational formation for system efficiency
| Project/Area Number |
20H04245
|
|---|
| Research Institution | Waseda University |
|---|
Principal Investigator |
菅原 俊治 早稲田大学, 理工学術院, 教授 (70396133)
|
|---|
| Project Period (FY) |
2020-04-01 – 2024-03-31
|
| Keywords | マルチエージェントシステム / 組織行動 / 社会学習 / 機械学習 / 組織化 / 深層強化学習 / マルチエージェントプランニング |
|---|
| Outline of Annual Research Achievements |
本年度 (2021年度) は、COVID-19の影響で遅れていた目的2に相当する「行動規範の自律的選択による最適組織化の実現」を進めると共に、やはり同影響で遅れていた「能力の相互バランスと相互補完を実現する共同グループ構成 」に着手する。また、これまでの研究で明らかになった、新たな付随的研究項目についても調査を進める。
2020年度に提案した順序付き協調タスクにおいて、各エージェントが前後のエージェントの行動を観測しながら遂行する学習方法を、多段のものに適用できるかを確認し、国際会議で発表した。同時に課題も見つかり、さらなる工夫が必要であることも確認した。特に、多段タスクでは、その実行と報酬の受け取りに大きな時間差が生じ、かなり古い情報を書き換えと、その再学習が必要となることがわかった。実際の応用における（ロボットなどの）作業は同時にできるものよりも、ある順序で行うべきものが多いと考えられ、それを背景とした協調作業の行動と学習は重要と位置づけている。
第2に、前年度に考案した学習したエージェントが着目している情報を抽出する手法を解明する手法を国際会議で発表するとともに、さらなる高度化を図った。具体的には、同じ周囲の状況でも、自分の位置や周辺にいるエージェントのタイプ（スキルや効率）、情報の信頼性などの条件応じて行動を変える点を明確にする枠組みを提案した。これを国際会議に投稿した。この研究は、協調作業の説明性を向上させ、人間側からのエージェントの理解を実現するものである。
また、学習機能には頼らずに、決定的なアルゴリズムによる複数エージェント（ロボットを想定）の同時搬送問題における効率的な、移動アルゴリズムを考案した、これを当該分野でトップ会議であるAAMASで発表した。またその応用を想定した、水平・垂直混合輸送の問題に対して検討進め、国際会議への投稿を目指している。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
COVID-19の影響で、研究協力者の実験および発表機会にやや遅延はあったものの、基本的には、計画通り遂行している。特に、組織的な行動の学習に際し、実際にエージェントが着目している情報を明確にするための研究土台ができたと考えています。当該分野でのトップレベルの会議に継続的に採択されていること、また、2021年度内に上記の内容の成果の研究発表が山下記念研究賞、2022年に入ってからOutstanding Paper Awardを受賞するなど、外部からも一定の評価を得ていると考えている。
|
| Strategy for Future Research Activity |
2022年度およびそれ以降については、特に学習した内容の説明性と解釈性に着目し、その組織的行動の判断とその評価について検討する。また、本年度は、これまでの研究の進捗を踏まえ、当初計画の目的2、目的3を目指すために、エージェントが同一グループ内の他のエージェントに着目させ、適切な行動を発現させるための手法を検討する。逆に、作業を通して、自律的にグループを生成する手法についての検討にも入る。具体的には、
同じ環境内・組織内で協力し合うべきあるいは無視すべき相手(エージェント)を自律的に同定する手法をさらに高度化し、 その評価を行う。それらの明瞭な提示法を検討する。また、他のエージェントの行動を確認しながら作業を進める行動も（順序付きタスクの例をもとに）進める。さらに、学習機能には頼らずに、確実なアルゴリズムによるエージェント(ロボットを想定)の移動アルゴリズムを考案し、環境内で発生する現象、たとえば遅延などに影響を受けない手法を検討する。
|
