深層強化学習により不整脈を自動制御するAI除細動器の開発

2021 年度 実施状況報告書

• 研究課題/領域番号: 21K18036
• 研究機関: 東京大学
• 研究代表者: 富井 直輝 東京大学, 大学院工学系研究科(工学部), 助教 (00803602)
• 研究期間 (年度): 2021-04-01 – 2024-03-31
• キーワード: 電気的除細動 / 致死性不整脈 / 強化学習 / in silico学習 / 心臓光学マッピング

研究実績の概要

本研究では、低侵襲かつ確実な適応的除細動の原理実証を目的として、心臓標本に対する除細動の強化学習実験システムの構築を目標とする。本システムでは、深層強化学習モデルを搭載した刺激制御装置を用いて、心臓標本の心室心外膜表面に装着した複数電極信号に基づいて心臓への適応的なペーシング刺激を行い、その結果生じる細動の発生・停止にもとづく報酬によって、より効果的な刺激条件の学習が可能な実験システムを構築する。さらに、複数の高速度カメラを用いた3次元パノラマ光学マッピングの同時計測によって、学習された適応的なペーシング刺激による除細動の機序を検証する。
本課題は研究実施計画として①数値シミュレーション上での適応的除細動実験、②刺激制御装置の製作、③ウサギ摘出心標本における適応的除細動実験の３項目の目標を掲げている。初年度である本年度では、①および②において原理検証が完了した。①においては、20mm四方の２次元数値モデル上で誘発した複数の旋回興奮に対して、６極程度の電極から与える通電刺激のタイミングを訓練した結果、学習初期のランダムな刺激に比べて除細動成功率が有意に上昇することが確認された。②においては、VTを誘発したウサギ摘出標本に対して、安定した固定が可能な透明樹脂電極と、計測信号にもとづき通電刺激タイミングを制御する組込み計算機システムを開発し、３次元パノラマ光学マッピングの同時計測による通電刺激効果の検証が可能であることを確認した。

現在までの達成度 (区分)

2: おおむね順調に進展している

理由

本課題では①数値シミュレーション上での適応的除細動実験、②刺激制御装置の製作、③ウサギ摘出心標本における適応的除細動実験の３項目の目標を掲げ、初年度である本年度は①および②において原理検証が完了した。①においては、20mm四方の２次元数値モデル上で誘発した旋回興奮に対して、仮想電極をランダムに6極~10極配置した。各電極による模擬計測信号を算出し、また電極信号から刺激タイミングを選択する強化学習モデルには、Q関数と方策関数を同時に学習するDPG法を用いた。シミュレータ上での10,000回の除細動の試行の結果、初期のランダムな通電刺激に比べて、学習済みモデルによって除細動成功率が有意に上昇することが確認された。一方で電極数が増加した場合に、行動空間が拡大することで学習の収束性が低下する課題が確認された。②においては、VTを誘発したウサギ摘出標本に対して、双極電極を埋め込んだ透明樹脂電極を接着剤で固定する方式によって、安定的に心臓標本の電極信号の計測および通電刺激が可能であることを確認した。さらに、電極計測信号を増幅して組込み計算機に取り込み、通電刺激トリガを生成する適応的除細動システムを開発し、遅延時間1ms以下で適応的刺激が可能であることを確認した。さらにトリガ信号による３台の高速度カメラとの同期によって、３次元パノラマ光学マッピングとの同時計測による通電刺激の効果検証が可能であることを確認した。

今後の研究の推進方策

2年目である2022年度は、①数値シミュレーション上での適応的除細動実験の完了、および③ウサギ摘出心標本における適応的除細動実験の初期検討に取り組む。①について、初年度に行った検討をもとに、より実際の心臓標本に近い環境でのin silico学習の検討を行う。初年度の検討の中で得られたウサギ摘出心臓標本の３次元表面形状モデルをもとに、組織境界形状および心筋線維走向をシミュレーションモデルに導入し、実際に透明電極で貼り付け可能な８極程度の電極による除細動モデルをin silico強化学習によって訓練し、結果として確実な除細動が可能なモデルが学習されるか否かを検証する。さらに、同じ電極による細動状態の誘発モデル（催細動モデル）の訓練を行い、除細動モデルとの敵対的強化学習が実現可能であるかを検討する。このようにして学習したAIモデルを初年度に構築した②刺激制御システムの組込み計算機に搭載し、実際の心臓標本上での除細動の強化学習を追加学習することで、③：実際の心臓標本上での強化学習実験の初期検討を行う。

次年度使用額が生じた理由

当初、数値シミュレータを用いた強化学習の検討にGPUワークステーションの購入を予定していたが、初年度の2021年度の検討は研究室の共通設備の計算機サーバによる検討が可能であったため購入を見送った。2022年度は、専用のGPUサーバおよびストレージを購入する予定である。

研究成果

• [雑誌論文] Rotors anchored by refractory islands drive torsades de pointes in an experimental model of electrical storm (2022)
  • 著者名/発表者名: Masatoshi Yamazaki, Naoki Tomii, Koichi Tsuneyama, Hiroki Takanari, Ryoko Niwa, Haruo Honjo, Itsuo Kodama, Tatsuhiko Arafune, Naomasa Makita, Ichiro Sakuma
  • 雑誌名: Heart Rhythm 巻: 19(2) ページ: 318-329
  • DOI: 10.1016/j.hrthm.2021.10.012
  • 査読あり
• [雑誌論文] Automatic Aortic Valve Cusps Segmentation from CT Images Based on the Cascading Multiple Deep Neural Networks (2022)
  • 著者名/発表者名: Aoyama Gakuto、Zhao Longfei、Zhao Shun、Xue Xiao、Zhong Yunxin、Yamauchi Haruo、Tsukihara Hiroyuki、Maeda Eriko、Ino Kenji、Tomii Naoki、Takagi Shu、Sakuma Ichiro、Ono Minoru、Sakaguchi Takuya
  • 雑誌名: Journal of Imaging 巻: 8 ページ: 11～11
  • DOI: 10.3390/jimaging8010011
  • 査読あり / 国際共著
• [雑誌論文] In-Silico Deep Reinforcement Learning for Effective Cardiac Ablation Strategy (2021)
  • 著者名/発表者名: Seno Hiroshi、Yamazaki Masatoshi、Shibata Nitaro、Sakuma Ichiro、Tomii Naoki
  • 雑誌名: Journal of Medical and Biological Engineering 巻: 41 ページ: 953～965
  • DOI: 10.1007/s40846-021-00664-6
  • 査読あり
• [学会発表] IN-SILICO DEEP REINFORCEMENT LEARNING FOR EFFECTIVE CARDIAC ABLATION STRATEGY: A SIMULATION STUDY (2021)
  • 著者名/発表者名: Hiroshi Seno, Naoki Tomii, Masatoshi Yamazaki, Nitaro Shibata, and Ichiro Sakuma.
  • 学会等名: Heart Rhythm 2021
  • 国際学会
• [学会発表] SIMULTANEOUS ULTRA-HIGH RESOLUTION OPTICAL MAPPING AND CATHETER MAPPING IN A LANGENDORFF-PERFUSED SWINE HEART MODEL TO IDENTIFY ATRIAL FIBRILLATION ROTORS BY CATHETER MAPPING (2021)
  • 著者名/発表者名: Hiroshi Nakagawa, Masatoshi Yamazaki, Naoki Tomii, Hiroshi Seno, Shunsuke Kuroda, Shubhayu Basu, Meir Bar-tal, Nobuteru Takamiya, Jamie L. Malinaric, Hiroyuki Tsukihra, Ayman A. Hussein, Walid I. Saliba, Oussama M. Wazni, Ichiro Sakuma, Warren M. Jackman.
  • 学会等名: Heart Rhythm 2021
  • 国際学会
• [学会発表] 心房全体マッピングの精度検証のための3次元パノラマ光学・電極同時マッピングシステムの開発 (2021)
  • 著者名/発表者名: 古川航暉，瀬野宏，富井直輝，山崎正俊，佐久間一郎
  • 学会等名: 心電学関連春季大会2021プログラム・抄録集
• [学会発表] 2波長励起光を用いた拍動心臓標本における興奮伝播可視化システム (2021)
  • 著者名/発表者名: 田中義生，瀬野宏，柴田仁太郎，本荘晴朗，富井直輝，佐久間一郎，荒船龍彦，山崎正俊
  • 学会等名: 心電学関連春季大会2021プログラム・抄録集
• [学会発表] 心臓電気生理シミュレータと深層強化学習を組み合わせたin silico学習による焼灼治療箇所最適化の検討 (2021)
  • 著者名/発表者名: 瀬野宏，富井直輝，山崎正俊，柴田仁太郎，佐久間一郎
  • 学会等名: 心電学関連春季大会2021プログラム・抄録集
• [学会発表] 心房細動モデルマウスのoptical mappingによる評価 (2021)
  • 著者名/発表者名: 岩宮賢，井原健介，富井直輝，山崎正俊，黒柳秀人，佐久間一郎，古川哲史，笹野哲郎
  • 学会等名: 心電学関連春季大会2021プログラム・抄録集
• [学会発表] 心電学関連シンポジウム「ここまで来た心房細動マッピング：現状と未来」 位相マッピングの新たな解釈：伝導ブロックが生む位相不連続境界 (2021)
  • 著者名/発表者名: 富井直輝
  • 学会等名: 心電学関連春季大会2021プログラム・抄録集
  • 招待講演
• [学会発表] シンポジウム「生体シミュレーション(in silico)を用いた医療機器開発・評価」最適な細動焼灼戦略の獲得に向けた深層強化学習の試み (2021)
  • 著者名/発表者名: 富井直輝，瀬野宏，山崎正俊，佐久間一郎
  • 学会等名: 第60回 日本生体医工学会大会
  • 招待講演
• [学会発表] シンポジウム「あなたの知らないCM＆S&VVの世界」in silico 深層強化学習による心筋焼灼治療の最適化―心臓電気生理シミュレータによる検討― (2021)
  • 著者名/発表者名: 富井直輝，瀬野宏，山崎正俊，佐久間一郎
  • 学会等名: 第30回 日本コンピュータ外科学会大会特集号
  • 招待講演
• [学会発表] 効果的なアブレーション治療に向けた細動中の湧き出し興奮波の定量的検出手法の開発 (2021)
  • 著者名/発表者名: 堀圭佑，瀬野宏，富井直輝，山崎正俊，佐久間一郎
  • 学会等名: 日本生体医工学会関東支部 若手研究者発表会2021
• [学会発表] 心臓電気生理シミュレータを用いた強化学習による適応的除細動法の原理検証 (2021)
  • 著者名/発表者名: 荻生崚太郎，瀬野博，中川桂一，佐久間一郎，富井直輝
  • 学会等名: 第31回ライフサポート学会フロンティア講演会予稿集
• [学会発表] 日本循環器学会・日本機械学会共同企画2 「イノベーションを実現しよう：工学系とのマッチングプラザ」心臓をみるー計測・シミュレーション・AIー (2021)
  • 著者名/発表者名: 富井直輝，瀬野宏，山崎正俊，佐久間一郎
  • 学会等名: 第86 回日本循環器学会学術集会
  • 招待講演
• [図書] 医用工学ハンドブック (2022)
  • 著者名/発表者名: 富井直輝, 山崎正俊
  • 総ページ数: 475
  • 出版者: 株式会社エヌ・ティー・エス
  • ISBN: 978-4-86043-735-0
• [産業財産権] Detection algorithm of breakthrough excitation among cardiac fibrillation (2021)
  • 発明者名: I. Sakuma, N. Tomii, K. Hori
  • 権利者名: The University of Tokyo
  • 産業財産権種類: 特許
  • 産業財産権番号: P211071US00
  • 外国