2019 Fiscal Year Annual Research Report
深層強化学習を用いた土壌熱交換システムの最適運用・制御手法の構築とその検証
| Project/Area Number |
19H02301
|
|---|
| Research Institution | The University of Kitakyushu |
|---|
Principal Investigator |
白石 靖幸 北九州市立大学, 国際環境工学部, 教授 (50302633)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
龍 有二 北九州市立大学, 国際環境工学部, 教授 (20191695)
長谷川 兼一 秋田県立大学, システム科学技術学部, 教授 (50293494)
永原 正章 北九州市立大学, 環境技術研究所, 教授 (90362582)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | 強化学習 / DQN / 土壌熱交換 / 非定常CFD解析 / 結露 / 空気質 / 省エネルギー |
|---|
| Outline of Annual Research Achievements |
九州及び東北地域の実在建物に導入された土壌熱交換システムを対象に、非定常CFD解析をベースとしたシミュレータを構築した。九州地域のモデルに関しては、予冷・予熱量に加え、結露発生を再現した解析を行い、実測データとの比較により十分な予測精度の検証を有することを確認した。東北地域のモデルに関しては、同地域に加え、九州地域の気象データを用いたケーススタディを実施し、予冷・予熱量等の気象条件に対する依存性を確認した。例えば、東北は年平均気温、土壌温度共に低くなることから、夏季における冷却効果は九州に比べて高くなり、一方、夏季に外気温度の高い九州では相対的に結露発生頻度が高い傾向にある等の結果が得られた。
九州地域における3件の土壌熱交換システムを対象に、ピット内でサンプリングした真菌のDNA解析を実施し、ピット内の空気質汚染の実態を確認した。実測結果より、ピット全体を通じて真菌が常在しており、流出口において最も多くの真菌が検出され、結露発生に伴う真菌の増殖が示唆された。
強化学習を用いた土壌熱交換システムの最適制御則構築の試みとして、ストレート型の簡易な土壌熱交換システムを対象に、シミュレータを構築し、シミュレータの解析結果を環境、予冷・予熱量及び結露の低減効果を報酬としたDeep Q-Network(DQN)による学習を実施した。学習が進むにつれて、結露面積比率が減少し、予冷・予熱量が増加しており、強化学習による動的制御の有効性を確認することができた。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
実測、解析共に予定通り順調に進展している。尚、強化学習の手法として今年度は、Q-Learningの導入を予定していたが、Q-Learningでは状態のパターン数×行動の種類数に対応した表形式表現により学習させることになり、本研究にて取り扱うような温度や湿度等の連続的な状態変数の場合、パターン数の最適化には慎重な検討を要する。そこで、今年度は連続的な状態変数の取り扱いが可能となるDeep Q-Network(DQN：縮約表現にDeep Learningを使用)による検討を行っている。実装を視野に入れたQ-Learningに関する検討は、次年度以降行う予定である。
|
| Strategy for Future Research Activity |
土壌熱交換シミュレータの予測精度の検証の第２段階として、九州地区の実物件を対象とした解析を実施し、熱画像の測定結果等との比較を通じて、結露性状に関する詳細な検証を行う。同検証を踏まえ、年間の予冷・予熱量についても引き続き予測精度の向上を目指す。
強化学習による最適制御手法の構築に関しては、DQNに代わる新たな手法としてQ-Learningによる検討を実物件の土壌熱交換システムを対象に実施し、DQNとの比較を通じて、学習効率や実装性の観点から各手法の特徴を明らかにする。
本研究にて提案する制御手法の実物件への実装を視野に入れ、関東地方における設計段階のプロジェクトを対象に新たにシミュレータを構築し、建物側の運用条件に関するケーススタディを通じて予冷・予熱量等の基本性能を把握する。
非定常CFD解析をベースとした土壌熱交換システムのシミュレータは、予測精度の点で優れているものの、計算負荷が大きく、数百エピソードの学習を伴った解析には試行回数の観点から限界がある。そこで、同シミュレータにより学習用のデータセット（環境条件、予冷・予熱情報、結露関連情報等）を作成し、このデータセットを用いてシミュレータに代わる新たな予測モデルとしてNN（Neural Network）によるモデル構築を目指す。
|
| Remarks |
2019年度に実施した国際共同研究（本研究プロジェクトの一部）の成果は、2020年度開催予定（当初は2020年6月に予定されていたが、COVID-19の影響により2021年2月に延期となった)の国際会議ROOMVENTに投稿している。
|
