2023 Fiscal Year Annual Research Report
実環境における深層強化学習の実現と群ロボットへの展開
| Project/Area Number |
19K12147
|
|---|
| Research Institution | Matsue National College of Technology |
|---|
Principal Investigator |
堀内 匡 松江工業高等専門学校, 電子制御工学科, 教授 (50294129)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
青代 敏行 東京都立産業技術高等専門学校, ものづくり工学科, 准教授 (40571849)
|
|---|
| Project Period (FY) |
2019-04-01 – 2024-03-31
|
| Keywords | 深層強化学習 / 知能ロボティクス / 群ロボット / 行動獲得 |
|---|
| Outline of Annual Research Achievements |
本研究では，実環境での深層強化学習の実現と群ロボットの協調行動の獲得を目指す．実環境での深層強化学習を実現するために「シミュレーションと実機の差異の低減手法」を導入する．まず，本研究の第一目的として「複雑な実環境での単一のロボットの行動獲得」を実現する．室内環境を模した環境において，単一の移動ロボットの視覚情報に基づく行動獲得を深層強化学習により実現する．次に，複数のロボットが存在する環境を想定し，「実機の群ロボットを対象とした協調行動の獲得」を本研究の第二目的とする．実機の群ロボットの環境における「追い抜き行動」などの協調行動の獲得を深層強化学習により実現する．さらに，本研究の第三目的として「深層強化学習における行動選択の説明性の向上」を実現する．深層強化学習において，ロボットがカメラ画像内のどの領域に注目して行動を選択したかを明らかにする．
最終年度にあたる本年度は，第二目的である「実機の群ロボットを対象とした協調行動の獲得」と第三目的である「深層強化学習における行動選択の説明性の向上」の両方に重点を置いて，研究を進めた．周囲360度を計測できるLiDARを搭載した3台の車輪型移動ロボットが存在する群ロボット環境において，「追い抜き行動の獲得」と「追従行動の獲得」の2つの協調行動タスクに対して深層強化学習を適用し，シミュレーション実験と実機実験の両方で有効性を確認した．また，深層学習の畳み込みニューラルネットワーク（CNN）の注視領域の可視化手法であるGrad-CAMに加えて，Vision Transformer (ViT) の注視領域の可視化手法であるAttention RolloutとTransformer Explainabilityのそれぞれの特徴を明らかにして，深層強化学習における行動選択の説明性の向上について検討した．
|
