• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2021 Fiscal Year Research-status Report

Development of an AI defibrillator with automatic arrhythmia control by deep reinforcement learning

Research Project

Project/Area Number 21K18036
Research InstitutionThe University of Tokyo

Principal Investigator

富井 直輝  東京大学, 大学院工学系研究科(工学部), 助教 (00803602)

Project Period (FY) 2021-04-01 – 2024-03-31
Keywords電気的除細動 / 致死性不整脈 / 強化学習 / in silico学習 / 心臓光学マッピング
Outline of Annual Research Achievements

本研究では、低侵襲かつ確実な適応的除細動の原理実証を目的として、心臓標本に対する除細動の強化学習実験システムの構築を目標とする。本システムでは、深層強化学習モデルを搭載した刺激制御装置を用いて、心臓標本の心室心外膜表面に装着した複数電極信号に基づいて心臓への適応的なペーシング刺激を行い、その結果生じる細動の発生・停止にもとづく報酬によって、より効果的な刺激条件の学習が可能な実験システムを構築する。さらに、複数の高速度カメラを用いた3次元パノラマ光学マッピングの同時計測によって、学習された適応的なペーシング刺激による除細動の機序を検証する。
本課題は研究実施計画として①数値シミュレーション上での適応的除細動実験、②刺激制御装置の製作、③ウサギ摘出心標本における適応的除細動実験の3項目の目標を掲げている。初年度である本年度では、①および②において原理検証が完了した。①においては、20mm四方の2次元数値モデル上で誘発した複数の旋回興奮に対して、6極程度の電極から与える通電刺激のタイミングを訓練した結果、学習初期のランダムな刺激に比べて除細動成功率が有意に上昇することが確認された。②においては、VTを誘発したウサギ摘出標本に対して、安定した固定が可能な透明樹脂電極と、計測信号にもとづき通電刺激タイミングを制御する組込み計算機システムを開発し、3次元パノラマ光学マッピングの同時計測による通電刺激効果の検証が可能であることを確認した。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

本課題では①数値シミュレーション上での適応的除細動実験、②刺激制御装置の製作、③ウサギ摘出心標本における適応的除細動実験の3項目の目標を掲げ、初年度である本年度は①および②において原理検証が完了した。①においては、20mm四方の2次元数値モデル上で誘発した旋回興奮に対して、仮想電極をランダムに6極~10極配置した。各電極による模擬計測信号を算出し、また電極信号から刺激タイミングを選択する強化学習モデルには、Q関数と方策関数を同時に学習するDPG法を用いた。シミュレータ上での10,000回の除細動の試行の結果、初期のランダムな通電刺激に比べて、学習済みモデルによって除細動成功率が有意に上昇することが確認された。一方で電極数が増加した場合に、行動空間が拡大することで学習の収束性が低下する課題が確認された。②においては、VTを誘発したウサギ摘出標本に対して、双極電極を埋め込んだ透明樹脂電極を接着剤で固定する方式によって、安定的に心臓標本の電極信号の計測および通電刺激が可能であることを確認した。さらに、電極計測信号を増幅して組込み計算機に取り込み、通電刺激トリガを生成する適応的除細動システムを開発し、遅延時間1ms以下で適応的刺激が可能であることを確認した。さらにトリガ信号による3台の高速度カメラとの同期によって、3次元パノラマ光学マッピングとの同時計測による通電刺激の効果検証が可能であることを確認した。

Strategy for Future Research Activity

2年目である2022年度は、①数値シミュレーション上での適応的除細動実験の完了、および③ウサギ摘出心標本における適応的除細動実験の初期検討に取り組む。①について、初年度に行った検討をもとに、より実際の心臓標本に近い環境でのin silico学習の検討を行う。初年度の検討の中で得られたウサギ摘出心臓標本の3次元表面形状モデルをもとに、組織境界形状および心筋線維走向をシミュレーションモデルに導入し、実際に透明電極で貼り付け可能な8極程度の電極による除細動モデルをin silico強化学習によって訓練し、結果として確実な除細動が可能なモデルが学習されるか否かを検証する。さらに、同じ電極による細動状態の誘発モデル(催細動モデル)の訓練を行い、除細動モデルとの敵対的強化学習が実現可能であるかを検討する。このようにして学習したAIモデルを初年度に構築した②刺激制御システムの組込み計算機に搭載し、実際の心臓標本上での除細動の強化学習を追加学習することで、③:実際の心臓標本上での強化学習実験の初期検討を行う。

Causes of Carryover

当初、数値シミュレータを用いた強化学習の検討にGPUワークステーションの購入を予定していたが、初年度の2021年度の検討は研究室の共通設備の計算機サーバによる検討が可能であったため購入を見送った。2022年度は、専用のGPUサーバおよびストレージを購入する予定である。

  • Research Products

    (17 results)

All 2022 2021

All Journal Article (3 results) (of which Int'l Joint Research: 1 results,  Peer Reviewed: 3 results) Presentation (12 results) (of which Int'l Joint Research: 2 results,  Invited: 4 results) Book (1 results) Patent(Industrial Property Rights) (1 results) (of which Overseas: 1 results)

  • [Journal Article] Rotors anchored by refractory islands drive torsades de pointes in an experimental model of electrical storm2022

    • Author(s)
      Masatoshi Yamazaki, Naoki Tomii, Koichi Tsuneyama, Hiroki Takanari, Ryoko Niwa, Haruo Honjo, Itsuo Kodama, Tatsuhiko Arafune, Naomasa Makita, Ichiro Sakuma
    • Journal Title

      Heart Rhythm

      Volume: 19(2) Pages: 318-329

    • DOI

      10.1016/j.hrthm.2021.10.012

    • Peer Reviewed
  • [Journal Article] Automatic Aortic Valve Cusps Segmentation from CT Images Based on the Cascading Multiple Deep Neural Networks2022

    • Author(s)
      Aoyama Gakuto、Zhao Longfei、Zhao Shun、Xue Xiao、Zhong Yunxin、Yamauchi Haruo、Tsukihara Hiroyuki、Maeda Eriko、Ino Kenji、Tomii Naoki、Takagi Shu、Sakuma Ichiro、Ono Minoru、Sakaguchi Takuya
    • Journal Title

      Journal of Imaging

      Volume: 8 Pages: 11~11

    • DOI

      10.3390/jimaging8010011

    • Peer Reviewed / Int'l Joint Research
  • [Journal Article] In-Silico Deep Reinforcement Learning for Effective Cardiac Ablation Strategy2021

    • Author(s)
      Seno Hiroshi、Yamazaki Masatoshi、Shibata Nitaro、Sakuma Ichiro、Tomii Naoki
    • Journal Title

      Journal of Medical and Biological Engineering

      Volume: 41 Pages: 953~965

    • DOI

      10.1007/s40846-021-00664-6

    • Peer Reviewed
  • [Presentation] IN-SILICO DEEP REINFORCEMENT LEARNING FOR EFFECTIVE CARDIAC ABLATION STRATEGY: A SIMULATION STUDY2021

    • Author(s)
      Hiroshi Seno, Naoki Tomii, Masatoshi Yamazaki, Nitaro Shibata, and Ichiro Sakuma.
    • Organizer
      Heart Rhythm 2021
    • Int'l Joint Research
  • [Presentation] SIMULTANEOUS ULTRA-HIGH RESOLUTION OPTICAL MAPPING AND CATHETER MAPPING IN A LANGENDORFF-PERFUSED SWINE HEART MODEL TO IDENTIFY ATRIAL FIBRILLATION ROTORS BY CATHETER MAPPING2021

    • Author(s)
      Hiroshi Nakagawa, Masatoshi Yamazaki, Naoki Tomii, Hiroshi Seno, Shunsuke Kuroda, Shubhayu Basu, Meir Bar-tal, Nobuteru Takamiya, Jamie L. Malinaric, Hiroyuki Tsukihra, Ayman A. Hussein, Walid I. Saliba, Oussama M. Wazni, Ichiro Sakuma, Warren M. Jackman.
    • Organizer
      Heart Rhythm 2021
    • Int'l Joint Research
  • [Presentation] 心房全体マッピングの精度検証のための3次元パノラマ光学・電極同時マッピングシステムの開発2021

    • Author(s)
      古川航暉,瀬野宏,富井直輝,山崎正俊,佐久間一郎
    • Organizer
      心電学関連春季大会2021プログラム・抄録集
  • [Presentation] 2波長励起光を用いた拍動心臓標本における興奮伝播可視化システム2021

    • Author(s)
      田中義生,瀬野宏,柴田仁太郎,本荘晴朗,富井直輝,佐久間一郎,荒船龍彦,山崎正俊
    • Organizer
      心電学関連春季大会2021プログラム・抄録集
  • [Presentation] 心臓電気生理シミュレータと深層強化学習を組み合わせたin silico学習による焼灼治療箇所最適化の検討2021

    • Author(s)
      瀬野宏,富井直輝,山崎正俊,柴田仁太郎,佐久間一郎
    • Organizer
      心電学関連春季大会2021プログラム・抄録集
  • [Presentation] 心房細動モデルマウスのoptical mappingによる評価2021

    • Author(s)
      岩宮賢,井原健介,富井直輝,山崎正俊,黒柳秀人,佐久間一郎,古川哲史,笹野哲郎
    • Organizer
      心電学関連春季大会2021プログラム・抄録集
  • [Presentation] 心電学関連シンポジウム「ここまで来た心房細動マッピング:現状と未来」 位相マッピングの新たな解釈:伝導ブロックが生む位相不連続境界2021

    • Author(s)
      富井直輝
    • Organizer
      心電学関連春季大会2021プログラム・抄録集
    • Invited
  • [Presentation] シンポジウム「生体シミュレーション(in silico)を用いた医療機器開発・評価」最適な細動焼灼戦略の獲得に向けた深層強化学習の試み2021

    • Author(s)
      富井直輝,瀬野宏,山崎正俊,佐久間一郎
    • Organizer
      第60回 日本生体医工学会大会
    • Invited
  • [Presentation] シンポジウム「あなたの知らないCM&S&VVの世界」in silico 深層強化学習による心筋焼灼治療の最適化―心臓電気生理シミュレータによる検討―2021

    • Author(s)
      富井直輝,瀬野宏,山崎正俊,佐久間一郎
    • Organizer
      第30回 日本コンピュータ外科学会大会特集号
    • Invited
  • [Presentation] 効果的なアブレーション治療に向けた細動中の湧き出し興奮波の定量的検出手法の開発2021

    • Author(s)
      堀圭佑,瀬野宏,富井直輝,山崎正俊,佐久間一郎
    • Organizer
      日本生体医工学会関東支部 若手研究者発表会2021
  • [Presentation] 心臓電気生理シミュレータを用いた強化学習による適応的除細動法の原理検証2021

    • Author(s)
      荻生崚太郎,瀬野博,中川桂一,佐久間一郎,富井直輝
    • Organizer
      第31回ライフサポート学会フロンティア講演会予稿集
  • [Presentation] 日本循環器学会・日本機械学会共同企画2 「イノベーションを実現しよう:工学系とのマッチングプラザ」心臓をみるー計測・シミュレーション・AIー2021

    • Author(s)
      富井直輝,瀬野宏,山崎正俊,佐久間一郎
    • Organizer
      第86 回日本循環器学会学術集会
    • Invited
  • [Book] 医用工学ハンドブック2022

    • Author(s)
      富井直輝, 山崎正俊
    • Total Pages
      475
    • Publisher
      株式会社エヌ・ティー・エス
    • ISBN
      978-4-86043-735-0
  • [Patent(Industrial Property Rights)] Detection algorithm of breakthrough excitation among cardiac fibrillation2021

    • Inventor(s)
      I. Sakuma, N. Tomii, K. Hori
    • Industrial Property Rights Holder
      The University of Tokyo
    • Industrial Property Rights Type
      特許
    • Industrial Property Number
      P211071US00
    • Overseas

URL: 

Published: 2022-12-28  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi