• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Automatic Dialysis Machine Operation and Blood Pressure Estimation Based on Deep Learning Using Facial Image and Dialysis Support System Data

Research Project

Project/Area Number 23K11954
Research Category

Grant-in-Aid for Scientific Research (C)

Allocation TypeMulti-year Fund
Section一般
Review Section Basic Section 90150:Medical assistive technology-related
Research InstitutionKanagawa Institute of Technology

Principal Investigator

鈴木 聡  神奈川工科大学, 健康医療科学部, 教授 (20586028)

Co-Investigator(Kenkyū-buntansha) 大岩 孝輔  長岡技術科学大学, 工学研究科, 准教授 (20781032)
前田 佳孝  自治医科大学, 医学部, 講師 (40754776)
Project Period (FY) 2023-04-01 – 2026-03-31
Project Status Granted (Fiscal Year 2023)
Budget Amount *help
¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000)
Fiscal Year 2025: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
Fiscal Year 2024: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2023: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Keywords血圧推定 / 血液透析 / 顔面画像 / 非接触測定 / 可視画像 / 熱画像 / 自動運転
Outline of Research at the Start

本研究は顔面の熱画像と可視画像を元に深層学習によって空間的特徴量抽出を行い、非接触で患者の血圧をリアルタイムに推定する技術により、血液透析中の患者管理における医療スタッフの負担軽減や、血圧低下時の対応遅れの無い対処を実現することと、透析支援システムに蓄積されたビッグデータを用いて透析装置自動運転アルゴリズムを構築するものである。その後さらに透析支援システムに内在する治療中にモニタリングされたビッグデータを学習させ、血液流量・除水速度などの治療条件の設定ならびに変更のための最適解を導出することを目指す。これにより在宅透析の促進や透析の安全性向上に貢献する。

Outline of Annual Research Achievements

本研究は、非接触で患者の血圧をリアルタイムに推定する技術により、血液透析中の患者管理における医療スタッフの負担軽減や、血圧低下時の対応遅れの無い安全な施行を行うことと、それに加えて透析支援システムに蓄積されたビッグデータを用いて透析装置自動運転のためのアルゴリズムを構築するものである。最初の段階である前者は、顔面可視画像と熱画像を元に深層学習によって空間的特徴量抽出を行い、血圧などを推定する技術である。次の段階の後者は、得られた血圧値に加えて透析支援システムに内在する治療中にモニタリングされたビッグデータ(回路内圧・ブラッドボリュームなど10~20項目程度の経時変化値)を学習させ、血液流量・除水速度などの治療条件の設定ならびに変更のための最適解を導出することを目指す。これらにより、経験豊富な医療スタッフに頼らずとも個々の患者に最適な治療条件設定と、ショックのような血圧低下や気分不快などを大幅に低減することが期待される。本研究はAI技術の応用として、約35万人に及ぶ慢性透析患者を支える医療スタッフの大幅な負担低減や、在宅透析の促進と同時に、安全性向上にも貢献する。
2023年度は、健常者で確認されている従来のアルゴリズムによる顔面画像からの血圧推定が、透析中患者の顔面画像を用いても同様に推定可能かという基礎検討と共に、そのアルゴリズムに対する改良点の発見ならびに改良の検討を行うこととしてきた。患者からのデータ採取数は充分とは言えないものの、特徴量抽出において眼窩周辺がノイズとなっていることが明らかになったため、その領域をトリミングすることや、可視像については顔面の角度変化等による明るさ(影)変化がノイズと考えられることに対す、Lab色空間で分けて明るさ成分を除去するなどといった、深層学習前の画像処理方法について検討してきた。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

2023年度は先ず協力先のクリニックで3名(累計透析回数13回)の患者に対する検討を元に分析方法の巧緻性向上に努めた。ここでは血液透析中の顔面画像(可視像ならびに赤外画像)を記録し、同時にシャント肢と反対側の上腕にマンシェットを巻き15分間隔で血圧を測定した。画像はmp4形式等のビデオデータである。一方血圧は透析装置に設定した間隔で測定され、そのデータは透析戦システムに蓄積される。あらかじめ顔面画像は空間的標準化などの処理を行い、同時刻の血圧値を教師データとして学習に用い、K分割交差検証を行った可視像と赤外像それぞれによる推定値に対し、相関係数と二乗平方根誤差で評価した。赤外像の方が精度は高く、鼻部周辺を特徴量に寄与していた。同時に眼窩や口が特徴量となる場合が観察されたが、開眼や開口などの影響と考えられ、この対策を検討してきた。結果的には対象部位周辺をトリミングすることで若干精度が向上する結果が得られた。一方、可視像については、照明や窓からの日光等による明るさの変化が顔面上で影を作り、治療中の約4時間という長い間では、影が特徴量となってしまう可能性が示唆されたため、影を作る明るさ成分を除去すべくL*a*b*色空間による可視像の表色系を用い、L*成分を用いない前処理を行ってから深層学習させる方法を試みた。これにより若干の改善は認められたが、さらなる検討をすべきと考えている。

Strategy for Future Research Activity

一定レベル以上の熟達度を有する血液透析の医療スタッフは、特に患者からの訴えが無くても透析中の患者の顔色などを見て血圧低下の兆候を察知する場合があり、自身も経験がするところである。即ち、可視像から血圧を推定できる方法論は筈で、これは顔面の色や温度だけでなく、表情による情報を解釈していると思われる。本研究では心象学習の前に空間標準顔面画像を生成してから学習アルゴリズムに入れており、その手法を一部利用しながら目・口などの顔面構成要素の形状変化についても利用したいと考えている。例えば、目頭から目尻までの形状や、唇の輪郭などに対する治療開始時からの変化、さらには眉間のシワの状況などを特徴量として捉えられるかどうかなど、検討の余地があると考えられ、今後取り組んでいく。
また、臨床データ採取数は研究開始当初の計画よりやや少なく、意図通りの臨床データが取りにくい状況であった。これに対し新たなデータ採取施設の追加を行う手続きを2023年度中に行ったところであり、2024年度はデータ数を増やし、血圧推定のための個人(患者ごとの)モデルを構築・検証する予定である。

Report

(1 results)
  • 2023 Research-status Report
  • Research Products

    (6 results)

All 2024 2023

All Journal Article (1 results) (of which Peer Reviewed: 1 results,  Open Access: 1 results) Presentation (5 results) (of which Invited: 5 results)

  • [Journal Article] Applicability of deep learning for blood pressure estimation during hemodialysis based on facial images2024

    • Author(s)
      Oiwa Kosuke、Suzuki Satoshi、Maeda Yoshitaka、Jinnai Hikohiro
    • Journal Title

      Renal Replacement Therapy

      Volume: 10 Issue: 1

    • DOI

      10.1186/s41100-023-00518-8

    • Related Report
      2023 Research-status Report
    • Peer Reviewed / Open Access
  • [Presentation] 顔画像モニタリングによる透析中の血圧推定2023

    • Author(s)
      鈴木 聡 , 大岩孝輔 , 前田佳孝 , 陣内彦博
    • Organizer
      日本医工学治療学会第39 回学術大会
    • Related Report
      2023 Research-status Report
    • Invited
  • [Presentation] 顔画像モニタリングによる治療中の血圧推定2023

    • Author(s)
      鈴木 聡, 大岩孝輔, 前田佳孝
    • Organizer
      第44 回日本アフェレシス学会学術大会
    • Related Report
      2023 Research-status Report
    • Invited
  • [Presentation] 顔面画像処理による遠隔血圧管理構想2023

    • Author(s)
      鈴木 聡, 大岩孝輔, 前田佳孝, 陣内彦博
    • Organizer
      第25回日本在宅血液透析学会
    • Related Report
      2023 Research-status Report
    • Invited
  • [Presentation] AIを用いた血液透析患者の顔画像に基づく血圧推定個人モデルの構築と評価2023

    • Author(s)
      大岩孝輔, 鈴木 聡, 前田佳孝, 陣内彦博
    • Organizer
      第3回日本腎・血液浄化AI学会学術集会・総会
    • Related Report
      2023 Research-status Report
    • Invited
  • [Presentation] 深層学習を用いた血圧推定のための顔面画像処理に対する工夫2023

    • Author(s)
      鈴木 聡, 大岩孝輔, 前田佳孝
    • Organizer
      第9回日本透析機能評価研究会
    • Related Report
      2023 Research-status Report
    • Invited

URL: 

Published: 2023-04-13   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi