• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Construction and verification of optimal operation and control method of Earth-To-Heat Exchanger using deep reinforcement learning

Research Project

Project/Area Number 19H02301
Research Category

Grant-in-Aid for Scientific Research (B)

Allocation TypeSingle-year Grants
Section一般
Review Section Basic Section 23020:Architectural environment and building equipment-related
Research InstitutionThe University of Kitakyushu

Principal Investigator

Shiraishi Yasuyuki  北九州市立大学, 国際環境工学部, 教授 (50302633)

Co-Investigator(Kenkyū-buntansha) 龍 有二  北九州市立大学, 国際環境工学部, 教授 (20191695)
長谷川 兼一  秋田県立大学, システム科学技術学部, 教授 (50293494)
永原 正章  北九州市立大学, 環境技術研究所, 教授 (90362582)
Project Period (FY) 2019-04-01 – 2022-03-31
Project Status Completed (Fiscal Year 2021)
Budget Amount *help
¥17,420,000 (Direct Cost: ¥13,400,000、Indirect Cost: ¥4,020,000)
Fiscal Year 2021: ¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000)
Fiscal Year 2020: ¥5,720,000 (Direct Cost: ¥4,400,000、Indirect Cost: ¥1,320,000)
Fiscal Year 2019: ¥7,280,000 (Direct Cost: ¥5,600,000、Indirect Cost: ¥1,680,000)
Keywords強化学習 / DQN / 土壌熱交換 / 非定常CFD解析 / 空気質 / 省エネルギー / 外気の予冷・予熱 / 空気質汚染 / 最適制御 / CFD / 結露
Outline of Research at the Start

土壌熱交換システムは、外気の予冷・予熱効果等の性能予測手法や運用方法が確立されておらず、システム内における結露に伴った空気質汚染も指摘されている。
そこで本研究では、土壌熱交換システム(特に地下ピット方式)を利用した際の年周期の省エネ効果やピット内の結露性状を高精度に推定可能となるシミュレータを開発すると共に、同シミュレータによる複数年にわたる解析データを用いて、結露の発生を抑制しつつ、高い省エネ性能を実現する動的制御モデルを深層強化学習により構築する。また実測調査を通じて、システム内の空気質汚染と結露性状との関係を定量的に明らかにする。

Outline of Final Research Achievements

The following research subjects were promoted with the main purpose of constructing the optimum operation and control method of Earth-To-Heat Exchanger(ETHE).
[1] We have developed a simulator that can estimate the energy saving effect of ETHE for multiple years and the dew condensation property in the system with high accuracy. [2] We defined the control problem of reinforcement learning using this simulator as an environment, and constructed a dynamic control model that realizes high energy-saving performance while suppressing the occurrence of dew condensation in the system by deep reinforcement learning. [3] While quantitatively showing the actual state of dew condensation in the system from both actual measurement surveys and numerical analysis, the relationship with air quality pollution due to fungal growth was clarified.

Academic Significance and Societal Importance of the Research Achievements

土壌熱交換システムは、設計段階に必要となる予冷・予熱量等の普遍的な性能予測手法が確立されていない。実運用段階では、システム内の結露発生に伴った空気質汚染も懸念されており、運用段階における対策が急務となっている。本研究では、これらの問題を解決するため非定常CFD解析をベースとした性能予測シミュレータを開発すると共に、同シミュレータを用いて省エネ効果を維持しつつ、結露発生を抑制するシステムの制御手法を構築した点は社会的意義が大きい。また土壌熱交換システムという複雑な技術(建築設備一体化技術)の最適制御を、強化学習の制御問題として定式化し、その有効性を高度な数値解析により示した点は学術的意義が高い。

Report

(4 results)
  • 2021 Annual Research Report   Final Research Report ( PDF )
  • 2020 Annual Research Report
  • 2019 Annual Research Report
  • Research Products

    (33 results)

All 2022 2021 2020 2019 Other

All Int'l Joint Research (3 results) Journal Article (5 results) (of which Peer Reviewed: 4 results,  Open Access: 2 results) Presentation (25 results) (of which Int'l Joint Research: 6 results)

  • [Int'l Joint Research] KU Leuven(ベルギー)

    • Related Report
      2021 Annual Research Report
  • [Int'l Joint Research] KU Leuven(ベルギー)

    • Related Report
      2020 Annual Research Report
  • [Int'l Joint Research] KU Leuven(ベルギー)

    • Related Report
      2019 Annual Research Report
  • [Journal Article] PRE-COOLING / PRE-HEATING CHARACTERISTICS OF THE EARTH-TO-AIR HEAT EXCHANGER SYSTEM IN LONG-TERM OPERATION (PART 2): INVESTIGATION OF ACTUAL CONDITION OF AIR ENVIRONMENT IN UNDERGROUND AIR TUNNEL THROUGH FIELD MEASUREMENT AND CFD ANALYSIS IN SUMMER2022

    • Author(s)
      平田一馬,白石靖幸,塘田研仁,長谷川兼一
    • Journal Title

      Journal of Environmental Engineering (Transactions of AIJ)

      Volume: 87 Issue: 792 Pages: 94-103

    • DOI

      10.3130/aije.87.94

    • NAID

      130008150452

    • ISSN
      1348-0685, 1881-817X
    • Year and Date
      2022-02-01
    • Related Report
      2021 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Proximal Policy Optimizationによる土壌熱交換システムの運用制御2022

    • Author(s)
      平田一馬,白石靖幸,塘田研仁,長谷川兼一
    • Journal Title

      空気調和・衛生工学会論文集

      Volume: 47 Pages: 27-36

    • Related Report
      2021 Annual Research Report
    • Peer Reviewed
  • [Journal Article] OPERATIONAL CONTROL FOR EARTH-TO-AIR HEAT EXCHANGER BY REINFORCEMENT LEARNING (PART 1): APPLICABILITY VERIFICATION OF ALGORITHM CONSIDERING COUNTERFACTUAL REWARD2021

    • Author(s)
      塘田研仁,白石靖幸
    • Journal Title

      Journal of Environmental Engineering (Transactions of AIJ)

      Volume: 86 Issue: 785 Pages: 708-718

    • DOI

      10.3130/aije.86.708

    • NAID

      130008069281

    • ISSN
      1348-0685, 1881-817X
    • Year and Date
      2021-07-30
    • Related Report
      2021 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] 気候特性の違いが土壌熱交換システムの諸性能に及ぼす影響,数値シミュレーションによる北九州市と秋田市の比較2021

    • Author(s)
      本山優作,塘田研仁,白石靖幸,長谷川兼一
    • Journal Title

      空気調和・衛生工学会論文集

      Volume: 46 Pages: 39-45

    • NAID

      40022510798

    • Related Report
      2020 Annual Research Report
    • Peer Reviewed
  • [Journal Article] 深層強化学習による土壌熱交換システムの運用制御手法2020

    • Author(s)
      塘田研仁,白石靖幸
    • Journal Title

      クリーンテクノロジー/特集:建築設備へのAI利用

      Volume: 30 Pages: 36-40

    • Related Report
      2020 Annual Research Report
  • [Presentation] Optimal Control of Earth-to-Air Heat Exchanger System Using Reinforcement Learning2021

    • Author(s)
      Kento Tomoda, Yasuyuki Shiraishi, Dirk Saelens
    • Organizer
      Building Simulation 2021 Conference
    • Related Report
      2021 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Numerical Prediction of Dew Condensation in EAHE System in Summer2021

    • Author(s)
      Kazuma Hirata, Kento Tomoda, Yasuyuki Shiraishi
    • Organizer
      Building Simulation 2021 Conference
    • Related Report
      2021 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 強化学習による土壌熱交換システムの最適制御,その5 反事実の報酬を考慮した報酬設計の有効性の検証2021

    • Author(s)
      塘田研仁,白石靖幸
    • Organizer
      日本建築学会大会
    • Related Report
      2021 Annual Research Report
  • [Presentation] 強化学習による土壌熱交換システムの最適制御,その 6 ランダムフォレストを用いたピット内温湿度環境予測手法の開発2021

    • Author(s)
      香山拓生,塘田研仁,白石靖幸
    • Organizer
      日本建築学会大会
    • Related Report
      2021 Annual Research Report
  • [Presentation] 先導的な教育及び環境配慮技術を導入した学校建築の環境評価,(その5)外気導入経路の違いによるクールヒートピットの予冷効果2021

    • Author(s)
      平田一馬,白石靖幸,平川聡,丸山純
    • Organizer
      日本建築学会大会
    • Related Report
      2021 Annual Research Report
  • [Presentation] 強化学習による土壌熱交換システムの制御手法の提案,(第1報)反事実報酬を組み込んだMulti Discrete Action環境への実装2021

    • Author(s)
      塘田研仁,香山拓生,白石靖幸
    • Organizer
      空気調和・衛生工学会大会
    • Related Report
      2021 Annual Research Report
  • [Presentation] 強化学習による土壌熱交換システムの制御手法の提案,(第2報)ランダムフォレストを用いたピット内温湿度環境予測手法の開発2021

    • Author(s)
      香山拓生,塘田研仁,白石靖幸
    • Organizer
      空気調和・衛生工学会大会
    • Related Report
      2021 Annual Research Report
  • [Presentation] 強化学習による土壌熱交換システムの運用制御,-転移学習との併用による学習高速化に関する検討-2021

    • Author(s)
      平田一馬,白石靖幸
    • Organizer
      空気調和・衛生工学会九州支部 第5回 学術・技術交流会/学術技術発表会
    • Related Report
      2021 Annual Research Report
  • [Presentation] Optimal Control of Earth-to-Air Heat Exchanger System by Reinforcement Learning2021

    • Author(s)
      Kento Tomoda
    • Organizer
      15th ROOMVENT Conference
    • Related Report
      2020 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Exploring the Pre-Cooling and Heating Performance of an Earth-to-Air Heat Exchanger System across Seasons in Warm and Cold Japanese Regions2021

    • Author(s)
      Yusaku Motoyama
    • Organizer
      15th ROOMVENT Conference
    • Related Report
      2020 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 機械学習を用いた土壌熱交換システムの予測モデルの構築2021

    • Author(s)
      香山拓生
    • Organizer
      日本建築学会九州支部研究報告
    • Related Report
      2020 Annual Research Report
  • [Presentation] 強化学習を用いた土壌熱交換システムの最適運用手法の提案,Deep Q-NetworkとCFDの連成解析による制御則の構築2021

    • Author(s)
      本山優作
    • Organizer
      日本建築学会九州支部研究報告
    • Related Report
      2020 Annual Research Report
  • [Presentation] 強化学習による土壌熱交換システムの最適制御 その4 Proximal Policy Optimizationによる学習環境の構築及び従来の制御手法との比較2020

    • Author(s)
      塘田研仁
    • Organizer
      日本建築学会大会
    • Related Report
      2020 Annual Research Report
  • [Presentation] 強化学習による土壌熱交換システムの最適制御 その3 Q-Learningにおける外気導入量の検討2020

    • Author(s)
      本山優作
    • Organizer
      日本建築学会
    • Related Report
      2020 Annual Research Report
  • [Presentation] 土壌熱交換システムにおける真菌叢による空気質汚染の実態把握2020

    • Author(s)
      平田一馬
    • Organizer
      日本建築学会大会
    • Related Report
      2020 Annual Research Report
  • [Presentation] 強化学習を用いた土壌熱交換システムの最適運用手法の提案,-Q-Learning と CFD の連成解析による年間性能予測-2020

    • Author(s)
      本山優作
    • Organizer
      空気調和・衛生工学会大会
    • Related Report
      2020 Annual Research Report
  • [Presentation] 土壌熱交換システムの夏季運用時における結露発生並びに微生物汚染の実態把握2020

    • Author(s)
      平田一馬
    • Organizer
      空気調和・衛生工学会大会
    • Related Report
      2020 Annual Research Report
  • [Presentation] 強化学習を用いた土壌熱交換システムの最適運用手法の提案,Q-LearningとCFDの連成解析による年間性能予測2020

    • Author(s)
      平田一馬
    • Organizer
      空気調和・衛生工学会大会
    • Related Report
      2020 Annual Research Report
  • [Presentation] Proposal of optimal operation method for the Earth-to-Air Heat Exchanger System Using Reinforcement Learning2020

    • Author(s)
      Yusaku Motoyama
    • Organizer
      COMPSAFE (Computational Engineering and Science for Safety Environmental Problems) 2020
    • Related Report
      2020 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Prediction of condensation of the earth-to-air heat exchanger system and verification of countermeasure of condensation by moisture absorbent2020

    • Author(s)
      Kazuma Hirata
    • Organizer
      COMPSAFE (Computational Engineering and Science for Safety Environmental Problems) 2020
    • Related Report
      2020 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 強化学習による土壌熱交換システムの最適制御,-Q-LearningとCFDの連成解析による検証-2020

    • Author(s)
      花田将樹,塘田研仁,白石靖幸
    • Organizer
      日本建築学会九州支部研究報告
    • Related Report
      2019 Annual Research Report
  • [Presentation] 土壌熱交換システムの夏季運用時における結露発生並びに空気質汚染の実態把握2020

    • Author(s)
      平田一馬,白石靖幸,長谷川兼一
    • Organizer
      日本建築学会九州支部研究報告
    • Related Report
      2019 Annual Research Report
  • [Presentation] 強化学習による土壌熱交換システムの最適制御,その1 既往研究成果と強化学習の概要2019

    • Author(s)
      塘田研仁,花田将樹,白石靖幸
    • Organizer
      日本建築学会大会学術講演梗概集
    • Related Report
      2019 Annual Research Report
  • [Presentation] 強化学習による土壌熱交換システムの最適制御, その2 Deep Q-NetworkとCFDの連成解析2019

    • Author(s)
      花田将樹,塘田研仁,白石靖幸
    • Organizer
      日本建築学会大会学術講演梗概集
    • Related Report
      2019 Annual Research Report
  • [Presentation] 強化学習による土壌熱交換システムの最適制御,Deep Q-NetworkとCFDの連成解析による検証2019

    • Author(s)
      塘田研仁,花田将樹,白石靖幸
    • Organizer
      空気調和・衛生工学会大会学術講演論文集
    • Related Report
      2019 Annual Research Report

URL: 

Published: 2019-04-18   Modified: 2023-01-30  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi