Flexible Development Technology for Cyber Physical Systems Using Reinforcement Learning

2018 Fiscal Year Final Research Report

• Project/Area Number: 16K06424
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Research Field: Control engineering/System engineering
• Research Institution: Osaka Prefecture University
• Principal Investigator: Matsumoto Keinosuke 大阪府立大学, 工学(系)研究科(研究院), 客員研究員 (90285304)
• Co-Investigator(Renkei-kenkyūsha): MORI Naoki 大阪府立大学, 大学院工学研究科, 准教授 (90295717)
• Project Period (FY): 2016-04-01 – 2019-03-31
• Keywords: サイバーフィジカルシステム / 機械学習 / エージェント / モデル駆動開発

Outline of Final Research Achievements

Cyber physical systems are modeled as multi-agent systems that act autonomously. To speed up learning, we have developed a new reinforcement learning method that shares other agents' action histories. Furthermore, by placing models that are the design drawing of software at the center of development, model-driven development method enables model reuse, conversion to different types of models, and automatic generation of source code from the models. We have got the prospect that the proposed method can withstand practical use as a flexible development method if the method is applied to the real world.

Free Research Field

システム工学

Academic Significance and Societal Importance of the Research Achievements

研究代表者が開発したシステム効用の最大化を図る交渉プロトコルを適用することにより，システム評価を最大化でき，さらに実フィールド環境では不確実性や計測不能な未知パラメータが存在するため，試行錯誤を通して環境に適応する強化学習を採用した．これらによりネットワーク通信技術と組み合わせシステムを正当な状況下で運用させることができ，信頼性・安全性が大幅に向上する．またマルチエージェントによるシミュレーションを利用するため，想定外の状況が創発される可能性をもつ点で他の手法より優位性を持つ．