研究実績の概要 |
前年度では, 対応関係がない領域をもつ画像に対しても効果的な位置合わせを実現するために, マルコフ確率場モデルに基づく変形モデルを非対称な相互作用をもつモデルへと拡張した。それにより, 一様な相互作用をもつマルコフ確率場モデルを用いた場合よりも, 対応関係のない領域をもつ画像に対しより高い性能で位置合わせが実現できることがわかった。前年度の時点では, 制御点ごとの対応関係の確からしさを自動的に決定する上で, SIFT特徴量などに基づき画像の局所類似度を評価していた。しかしながら, どのようなmetricを用いて対応関係の確からしさを評価が, 位置合わせの性能に大きく影響することがわかってきた。そこで本年度は, 対応関係の確からしさを比較したい画像ごとに適切に評価するため, 自己教師あり学習の1種であるContrastive Learningを導入した。具体的には, 近年提案されたSelf-supervised Contrastive Learning技術であるSimCLR (Ting Chen et al., 2020)およびSimSiam (Xinlei Chen and Kaiming He, 2020)を用いた。Metricはコサイン類似度を用いた。学習の際には, 比較する画像の一部に人工的な欠損を与えることで, 対応関係をもたない画像領域が存在するようにした。また, 回転や非剛体変形などを行うことでデータ拡張を行った。結果, 対応関係をもつ領域では類似度が高く, 対応関係をもたない領域では類似度が小さくなるように, 局所領域の非線形変換を学習できることを確認できた。これにより, マルコフ確率場モデルの非対象な相互作用を, 自己教師あり学習データから自動的に設定できるようになった。
|
現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
非対象なマルコフ確率場モデルを設定する上で, 近年注目されているSelf-supervised Contrastive Learningを導入することで, 想定よりもさらに汎用的かつ欠損に強いイメージレジストレーション技術を実現できる可能性が出てきた。その点は, 当初の計画以上の進展であると評価している。一方, 対応関係の確からしさの推定なども含めたトータルの計算コストは, 当初の想定よりも大きくなってしまった。この点を改善について新たな検討が必要となった。
|