時空間レジストレーション技術に基づく創傷管理の３次元統合情報提示システム

2020 Fiscal Year Research-status Report

• Project/Area Number: 20K12752
• Research Institution: Osaka City University
• Principal Investigator: 野口 博史 大阪市立大学, 大学院工学研究科, 准教授 (50431797)
• Co-Investigator(Kenkyū-buntansha): 森 武俊 東京大学, 大学院医学系研究科(医学部), 特任教授 (20272586) ; 真田 弘美 東京大学, 大学院医学系研究科(医学部), 教授 (50143920) ; 大江 真琴 金沢大学, 保健学系, 教授 (60389939) ; 仲上 豪二朗 東京大学, 大学院医学系研究科(医学部), 准教授 (70547827)
• Project Period (FY): 2020-04-01 – 2023-03-31
• Keywords: 3次元計測 / サーモグラフィ / 糖尿病足潰瘍予防

Outline of Annual Research Achievements

創傷管理を行う医療者のために創傷管理に関係する画像情報を重畳し，３次元的に確認できるデバイスを構築している．創傷管理の例として，糖尿病足潰瘍の管理を対象として研究を行っている．具体的には，炎症などの兆候発見に用いられるサーモグラフィ，足変形や胼胝の状況などを計測するための３次元距離情報画像，また，足圧力分布画像などの重畳を考えている．また，観察毎の時系列変化についての重畳も考えている．
本年度については，RGB-Dカメラによる３次元距離画像とサーモグラフィ画像の重畳による温度情報付き３次元データの構築に取り組んだ．具体的には，RGB-Dカメラ並びにサーモグラフィを並行して設置したデバイスを構築した．また，アルゴリズムとして，それぞれの可視画像から，足領域をU-Netベースの深層学習手法により切り出す方法ならびに，切り出し後の足領域をテンプレートマッチングベースの方法によりレジストレーションする方法を開発し，それらの組み合わせにより距離画像情報と温度情報を組み合わせることで温度情報付きの３次元温度情報付きモデルを生成する方法を開発した．
足領域検出においては，72枚の足画像データセットから，画素の重なりぐらいを示すIoUにおいて，テストデータで0.89程度の性能を示すことを確認し，また，レジストレーションとしても0.73程度の一致を見ることを確認した．また，温度情報を模擬したモデルにおいて，温度付き三次元モデルが生成できることを確認し，また，それによる情報提示のプロトタイプも作成した．

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

本年度は，プロトタイプデバイスとして，RGB-Dカメラとサーモグラフィから構成される簡易なデバイスを構築し，同時計測できる方法を作成している．また，その２つのカメラ画像から，温度付き３次元モデルの生成できるアルゴリズムを開発している．両者とも本年度中に取り組み予定だったことである．また，検証として，本来は，データセットとして創傷画像やあるいは実際の外来受診者の画像などの利用も考えていたがアルゴリズム確認には必要ないことから健常者での計測データで代替しているが十分確認は行えている．以上のことから，概ね順調に進展していると考えられる．

Strategy for Future Research Activity

次年度については，提示する情報として考えている圧力分布情報の重畳について取り組む，簡易な足圧力分布を取得できるデバイスを開発し，その圧力分布を前年度までに開発した温度付き３次元情報に加えて，更に圧力情報を重畳可能なアルゴリズムを開発する．また，時系列情報変化の重畳として，過去の足画像とのレジストレーション可能な技術を開発する．また，デバイス自体の改良として小型化やPCとの接続部の改良などについても取り組む．

Causes of Carryover

デバイスのプロトタイプ作成用に予算を考えていたが，小型マイコンの購入等が遅れたため，予算の残りが生じている．次年度については購入と合わせてプロトタイプ作成用の費用への割当を考えている．