• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

深層強化学習を用いた土壌熱交換システムの最適運用・制御手法の構築とその検証

研究課題

研究課題/領域番号 19H02301
研究種目

基盤研究(B)

配分区分補助金
応募区分一般
審査区分 小区分23020:建築環境および建築設備関連
研究機関北九州市立大学

研究代表者

白石 靖幸  北九州市立大学, 国際環境工学部, 教授 (50302633)

研究分担者 龍 有二  北九州市立大学, 国際環境工学部, 教授 (20191695)
長谷川 兼一  秋田県立大学, システム科学技術学部, 教授 (50293494)
永原 正章  北九州市立大学, 環境技術研究所, 教授 (90362582)
研究期間 (年度) 2019-04-01 – 2022-03-31
研究課題ステータス 完了 (2021年度)
配分額 *注記
17,420千円 (直接経費: 13,400千円、間接経費: 4,020千円)
2021年度: 4,420千円 (直接経費: 3,400千円、間接経費: 1,020千円)
2020年度: 5,720千円 (直接経費: 4,400千円、間接経費: 1,320千円)
2019年度: 7,280千円 (直接経費: 5,600千円、間接経費: 1,680千円)
キーワード強化学習 / DQN / 土壌熱交換 / 非定常CFD解析 / 空気質 / 省エネルギー / 外気の予冷・予熱 / 空気質汚染 / 最適制御 / CFD / 結露
研究開始時の研究の概要

土壌熱交換システムは、外気の予冷・予熱効果等の性能予測手法や運用方法が確立されておらず、システム内における結露に伴った空気質汚染も指摘されている。
そこで本研究では、土壌熱交換システム(特に地下ピット方式)を利用した際の年周期の省エネ効果やピット内の結露性状を高精度に推定可能となるシミュレータを開発すると共に、同シミュレータによる複数年にわたる解析データを用いて、結露の発生を抑制しつつ、高い省エネ性能を実現する動的制御モデルを深層強化学習により構築する。また実測調査を通じて、システム内の空気質汚染と結露性状との関係を定量的に明らかにする。

研究成果の概要

土壌熱交換システムの最適運用・制御手法の構築を主たる目的として、以下の研究課題を推進した。
[1] 土壌熱交換システム(特に地下ピット方式)を利用した際の年周期の省エネ効果やピット内の結露性状を高精度に推定可能となるシミュレータを開発した。[2] 同シミュレータを環境とした強化学習の制御問題を定義し、システム内の結露発生を抑制しつつ、高い省エネ性能を実現する動的制御モデルを深層強化学習により構築した。[3] 実測調査と数値解析の双方からシステム内の結露発生の実態を定量的に示しつつ、真菌増殖による空気質汚染との関係性を明らかにした。

研究成果の学術的意義や社会的意義

土壌熱交換システムは、設計段階に必要となる予冷・予熱量等の普遍的な性能予測手法が確立されていない。実運用段階では、システム内の結露発生に伴った空気質汚染も懸念されており、運用段階における対策が急務となっている。本研究では、これらの問題を解決するため非定常CFD解析をベースとした性能予測シミュレータを開発すると共に、同シミュレータを用いて省エネ効果を維持しつつ、結露発生を抑制するシステムの制御手法を構築した点は社会的意義が大きい。また土壌熱交換システムという複雑な技術(建築設備一体化技術)の最適制御を、強化学習の制御問題として定式化し、その有効性を高度な数値解析により示した点は学術的意義が高い。

報告書

(4件)
  • 2021 実績報告書   研究成果報告書 ( PDF )
  • 2020 実績報告書
  • 2019 実績報告書
  • 研究成果

    (33件)

すべて 2022 2021 2020 2019 その他

すべて 国際共同研究 (3件) 雑誌論文 (5件) (うち査読あり 4件、 オープンアクセス 2件) 学会発表 (25件) (うち国際学会 6件)

  • [国際共同研究] KU Leuven(ベルギー)

    • 関連する報告書
      2021 実績報告書
  • [国際共同研究] KU Leuven(ベルギー)

    • 関連する報告書
      2020 実績報告書
  • [国際共同研究] KU Leuven(ベルギー)

    • 関連する報告書
      2019 実績報告書
  • [雑誌論文] 土壌熱交換システムの長期運用に伴う予冷・予熱特性(その2):夏季実測調査とCFD解析による地下ピット内空気環境の実態把握2022

    • 著者名/発表者名
      平田一馬,白石靖幸,塘田研仁,長谷川兼一
    • 雑誌名

      日本建築学会環境系論文集

      巻: 87 号: 792 ページ: 94-103

    • DOI

      10.3130/aije.87.94

    • NAID

      130008150452

    • ISSN
      1348-0685, 1881-817X
    • 年月日
      2022-02-01
    • 関連する報告書
      2021 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Proximal Policy Optimizationによる土壌熱交換システムの運用制御2022

    • 著者名/発表者名
      平田一馬,白石靖幸,塘田研仁,長谷川兼一
    • 雑誌名

      空気調和・衛生工学会論文集

      巻: 47 ページ: 27-36

    • 関連する報告書
      2021 実績報告書
    • 査読あり
  • [雑誌論文] 強化学習による土壌熱交換システムの運用制御(その1):反事実の報酬を考慮したアルゴリズムの適用可能性の検証2021

    • 著者名/発表者名
      塘田研仁,白石靖幸
    • 雑誌名

      日本建築学会環境系論文集

      巻: 86 号: 785 ページ: 708-718

    • DOI

      10.3130/aije.86.708

    • NAID

      130008069281

    • ISSN
      1348-0685, 1881-817X
    • 年月日
      2021-07-30
    • 関連する報告書
      2021 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] 気候特性の違いが土壌熱交換システムの諸性能に及ぼす影響,数値シミュレーションによる北九州市と秋田市の比較2021

    • 著者名/発表者名
      本山優作,塘田研仁,白石靖幸,長谷川兼一
    • 雑誌名

      空気調和・衛生工学会論文集

      巻: 46 ページ: 39-45

    • NAID

      40022510798

    • 関連する報告書
      2020 実績報告書
    • 査読あり
  • [雑誌論文] 深層強化学習による土壌熱交換システムの運用制御手法2020

    • 著者名/発表者名
      塘田研仁,白石靖幸
    • 雑誌名

      クリーンテクノロジー/特集:建築設備へのAI利用

      巻: 30 ページ: 36-40

    • 関連する報告書
      2020 実績報告書
  • [学会発表] Optimal Control of Earth-to-Air Heat Exchanger System Using Reinforcement Learning2021

    • 著者名/発表者名
      Kento Tomoda, Yasuyuki Shiraishi, Dirk Saelens
    • 学会等名
      Building Simulation 2021 Conference
    • 関連する報告書
      2021 実績報告書
    • 国際学会
  • [学会発表] Numerical Prediction of Dew Condensation in EAHE System in Summer2021

    • 著者名/発表者名
      Kazuma Hirata, Kento Tomoda, Yasuyuki Shiraishi
    • 学会等名
      Building Simulation 2021 Conference
    • 関連する報告書
      2021 実績報告書
    • 国際学会
  • [学会発表] 強化学習による土壌熱交換システムの最適制御,その5 反事実の報酬を考慮した報酬設計の有効性の検証2021

    • 著者名/発表者名
      塘田研仁,白石靖幸
    • 学会等名
      日本建築学会大会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 強化学習による土壌熱交換システムの最適制御,その 6 ランダムフォレストを用いたピット内温湿度環境予測手法の開発2021

    • 著者名/発表者名
      香山拓生,塘田研仁,白石靖幸
    • 学会等名
      日本建築学会大会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 先導的な教育及び環境配慮技術を導入した学校建築の環境評価,(その5)外気導入経路の違いによるクールヒートピットの予冷効果2021

    • 著者名/発表者名
      平田一馬,白石靖幸,平川聡,丸山純
    • 学会等名
      日本建築学会大会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 強化学習による土壌熱交換システムの制御手法の提案,(第1報)反事実報酬を組み込んだMulti Discrete Action環境への実装2021

    • 著者名/発表者名
      塘田研仁,香山拓生,白石靖幸
    • 学会等名
      空気調和・衛生工学会大会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 強化学習による土壌熱交換システムの制御手法の提案,(第2報)ランダムフォレストを用いたピット内温湿度環境予測手法の開発2021

    • 著者名/発表者名
      香山拓生,塘田研仁,白石靖幸
    • 学会等名
      空気調和・衛生工学会大会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 強化学習による土壌熱交換システムの運用制御,-転移学習との併用による学習高速化に関する検討-2021

    • 著者名/発表者名
      平田一馬,白石靖幸
    • 学会等名
      空気調和・衛生工学会九州支部 第5回 学術・技術交流会/学術技術発表会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] Optimal Control of Earth-to-Air Heat Exchanger System by Reinforcement Learning2021

    • 著者名/発表者名
      Kento Tomoda
    • 学会等名
      15th ROOMVENT Conference
    • 関連する報告書
      2020 実績報告書
    • 国際学会
  • [学会発表] Exploring the Pre-Cooling and Heating Performance of an Earth-to-Air Heat Exchanger System across Seasons in Warm and Cold Japanese Regions2021

    • 著者名/発表者名
      Yusaku Motoyama
    • 学会等名
      15th ROOMVENT Conference
    • 関連する報告書
      2020 実績報告書
    • 国際学会
  • [学会発表] 機械学習を用いた土壌熱交換システムの予測モデルの構築2021

    • 著者名/発表者名
      香山拓生
    • 学会等名
      日本建築学会九州支部研究報告
    • 関連する報告書
      2020 実績報告書
  • [学会発表] 強化学習を用いた土壌熱交換システムの最適運用手法の提案,Deep Q-NetworkとCFDの連成解析による制御則の構築2021

    • 著者名/発表者名
      本山優作
    • 学会等名
      日本建築学会九州支部研究報告
    • 関連する報告書
      2020 実績報告書
  • [学会発表] 強化学習による土壌熱交換システムの最適制御 その4 Proximal Policy Optimizationによる学習環境の構築及び従来の制御手法との比較2020

    • 著者名/発表者名
      塘田研仁
    • 学会等名
      日本建築学会大会
    • 関連する報告書
      2020 実績報告書
  • [学会発表] 強化学習による土壌熱交換システムの最適制御 その3 Q-Learningにおける外気導入量の検討2020

    • 著者名/発表者名
      本山優作
    • 学会等名
      日本建築学会
    • 関連する報告書
      2020 実績報告書
  • [学会発表] 土壌熱交換システムにおける真菌叢による空気質汚染の実態把握2020

    • 著者名/発表者名
      平田一馬
    • 学会等名
      日本建築学会大会
    • 関連する報告書
      2020 実績報告書
  • [学会発表] 強化学習を用いた土壌熱交換システムの最適運用手法の提案,-Q-Learning と CFD の連成解析による年間性能予測-2020

    • 著者名/発表者名
      本山優作
    • 学会等名
      空気調和・衛生工学会大会
    • 関連する報告書
      2020 実績報告書
  • [学会発表] 土壌熱交換システムの夏季運用時における結露発生並びに微生物汚染の実態把握2020

    • 著者名/発表者名
      平田一馬
    • 学会等名
      空気調和・衛生工学会大会
    • 関連する報告書
      2020 実績報告書
  • [学会発表] 強化学習を用いた土壌熱交換システムの最適運用手法の提案,Q-LearningとCFDの連成解析による年間性能予測2020

    • 著者名/発表者名
      平田一馬
    • 学会等名
      空気調和・衛生工学会大会
    • 関連する報告書
      2020 実績報告書
  • [学会発表] Proposal of optimal operation method for the Earth-to-Air Heat Exchanger System Using Reinforcement Learning2020

    • 著者名/発表者名
      Yusaku Motoyama
    • 学会等名
      COMPSAFE (Computational Engineering and Science for Safety Environmental Problems) 2020
    • 関連する報告書
      2020 実績報告書
    • 国際学会
  • [学会発表] Prediction of condensation of the earth-to-air heat exchanger system and verification of countermeasure of condensation by moisture absorbent2020

    • 著者名/発表者名
      Kazuma Hirata
    • 学会等名
      COMPSAFE (Computational Engineering and Science for Safety Environmental Problems) 2020
    • 関連する報告書
      2020 実績報告書
    • 国際学会
  • [学会発表] 強化学習による土壌熱交換システムの最適制御,-Q-LearningとCFDの連成解析による検証-2020

    • 著者名/発表者名
      花田将樹,塘田研仁,白石靖幸
    • 学会等名
      日本建築学会九州支部研究報告
    • 関連する報告書
      2019 実績報告書
  • [学会発表] 土壌熱交換システムの夏季運用時における結露発生並びに空気質汚染の実態把握2020

    • 著者名/発表者名
      平田一馬,白石靖幸,長谷川兼一
    • 学会等名
      日本建築学会九州支部研究報告
    • 関連する報告書
      2019 実績報告書
  • [学会発表] 強化学習による土壌熱交換システムの最適制御,その1 既往研究成果と強化学習の概要2019

    • 著者名/発表者名
      塘田研仁,花田将樹,白石靖幸
    • 学会等名
      日本建築学会大会学術講演梗概集
    • 関連する報告書
      2019 実績報告書
  • [学会発表] 強化学習による土壌熱交換システムの最適制御, その2 Deep Q-NetworkとCFDの連成解析2019

    • 著者名/発表者名
      花田将樹,塘田研仁,白石靖幸
    • 学会等名
      日本建築学会大会学術講演梗概集
    • 関連する報告書
      2019 実績報告書
  • [学会発表] 強化学習による土壌熱交換システムの最適制御,Deep Q-NetworkとCFDの連成解析による検証2019

    • 著者名/発表者名
      塘田研仁,花田将樹,白石靖幸
    • 学会等名
      空気調和・衛生工学会大会学術講演論文集
    • 関連する報告書
      2019 実績報告書

URL: 

公開日: 2019-04-18   更新日: 2023-01-30  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi