An advanced image registration technique for supporting rapid medical image diagnoses

2021 Fiscal Year Research-status Report

• Project/Area Number: 19K12219
• Research Institution: Kyushu Institute of Technology
• Principal Investigator: 徳永 旭将 九州工業大学, 大学院情報工学研究院, 准教授 (50614806)
• Project Period (FY): 2019-04-01 – 2023-03-31
• Keywords: イメージレジストレーション / 画像位置合わせ / 医療画像処理 / マルコフ確率場モデル / ベイズ推論

Outline of Annual Research Achievements

前年度では, 対応関係がない領域をもつ画像に対しても効果的な位置合わせを実現するために, マルコフ確率場モデルに基づく変形モデルを非対称な相互作用をもつモデルへと拡張した。それにより, 一様な相互作用をもつマルコフ確率場モデルを用いた場合よりも, 対応関係のない領域をもつ画像に対しより高い性能で位置合わせが実現できることがわかった。前年度の時点では, 制御点ごとの対応関係の確からしさを自動的に決定する上で, SIFT特徴量などに基づき画像の局所類似度を評価していた。しかしながら, どのようなmetricを用いて対応関係の確からしさを評価が, 位置合わせの性能に大きく影響することがわかってきた。そこで本年度は, 対応関係の確からしさを比較したい画像ごとに適切に評価するため, 自己教師あり学習の1種であるContrastive Learningを導入した。具体的には, 近年提案されたSelf-supervised Contrastive Learning技術であるSimCLR (Ting Chen et al., 2020)およびSimSiam (Xinlei Chen and Kaiming He, 2020)を用いた。Metricはコサイン類似度を用いた。学習の際には, 比較する画像の一部に人工的な欠損を与えることで, 対応関係をもたない画像領域が存在するようにした。また, 回転や非剛体変形などを行うことでデータ拡張を行った。結果, 対応関係をもつ領域では類似度が高く, 対応関係をもたない領域では類似度が小さくなるように, 局所領域の非線形変換を学習できることを確認できた。これにより, マルコフ確率場モデルの非対象な相互作用を, 自己教師あり学習データから自動的に設定できるようになった。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

非対象なマルコフ確率場モデルを設定する上で, 近年注目されているSelf-supervised Contrastive Learningを導入することで, 想定よりもさらに汎用的かつ欠損に強いイメージレジストレーション技術を実現できる可能性が出てきた。その点は, 当初の計画以上の進展であると評価している。一方, 対応関係の確からしさの推定なども含めたトータルの計算コストは, 当初の想定よりも大きくなってしまった。この点を改善について新たな検討が必要となった。

Strategy for Future Research Activity

Self-supervised Contrastive Learningの導入により, 当初の見通しよりも汎用的なイメージレジストレーション技術が期待できるようになっため, 計算速度も含めて実用に耐えうる技術となるよう, 実データを用いた検証と改善を進める。

Causes of Carryover

成果公表のためにさらなる改善と実験が必要であると判断したため, 公表にかかる費用を中心に次年度使用額が生じた。