2019 Fiscal Year Research-status Report
文化遺産建造物の3次元復元における時系列変化の可視化
| Project/Area Number |
19K13416
|
|---|
| Research Institution | University of Tsukuba |
|---|
Principal Investigator |
宍戸 英彦 筑波大学, 計算科学研究センター, 助教 (50782067)
|
|---|
| Project Period (FY) |
2019-04-01 – 2021-03-31
|
| Keywords | 画像マッチング / 文化遺産建造物 / 自己符号化器 / 深層学習 |
|---|
| Outline of Annual Research Achievements |
本研究では，５０～１００年前の画像と現在の文化遺産建造物の画像群を用いて，昔の写真のカメラの位置姿勢推定を目的とする．さらに，昔から現在までの文化遺産建造物がどのように変化してきたのかを可視化できる時系列変化映像の構築を実現する．そのための基礎研究として，５０～１００年前に撮影された文化遺産建造物の画像と現在の画像とのマッチング精度を向上させる手法を提案した．文化遺産建造物の模様部において経年による劣化や破損，あるいは改築・改変によって同じ位置に原型と異なる画像特徴が検出され，勾配強度を手がかりとしたマッチング処理精度が低下する問題があった．また，対称性を多く有する建造物に顕著に見られる誤対応問題が存在し，これらの問題に対して，自己符号化器とGuided Matching手法を適用することで解決を図った．
過去と現在の文化遺産建造物の写真には，建造物の経年による劣化や破損，あるいは改築・改変によって同じ位置に原型と異なる画像特徴が検出され，勾配強度を手がかりとしたマッチング処理精度を低下させる要因が含まれている．また，建造物の劣化ではなく，写真そのものの経年劣化や，撮影機器の発展に伴う記録媒体変更の影響も考慮すべき課題となる．さらに，建造物は対称性を多く有するため，その影響への対策も必要となる．
本研究では，自己符号化器（オートエンコーダ）とGuided Matching手法を用いることで，上述した問題点の解決法を提案した．自己符号化器を利用することで，建造物の経年による劣化や破損，あるいは改築・改変によって同じ位置に原型と異なる画像特徴が検出される問題を排除する．Guided Matching手法によって得られた正対応を再探索することで，建造物の対称性に由来する誤対応問題を解決した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究では，文化遺産建造物の過去と現在の画像マッチングに自己符号化器（オートエンコーダ）を活用した．自己符号化器を適用した出力画像の解像度を段階的に変化させることで画像特徴点の誤対応を低減した．さらに，FAST特徴量を用いたGuided Matching手法を適用することで，過去と現在の画像間の対応探索処理の精度を向上した．
提案手法の有効性を示すために，文化遺産建造物の画像データセットを用いて，提案手法を適用した．イラスト，絵画などのキャプチャ画像に対しても提案手法は良好な画像マッチングを実現した．また，建造物の大きさ，構造などが異なる幅広いデータセットに有効であることを確認した．次に，既存手法との比較実験を実施した．既存手法では，A-KAZE特徴量を使用し，KNN（K-Nearest Neighbor algorithm）マッチング手法を文化遺産建造物の画像データセットに適用した．KNNは，探索空間から最近傍のラベルをK個選択し，多数決でクラスラベルを割り当てるアルゴリズムである．従来手法では，画像特徴の誤対応が多いことから，レリーフなどの模様における勾配強度のマッチングが取れない問題や，建造物に対称性がある場合に多くの誤対応が存在する問題を解決できていない．一方で提案手法は，自己符号化器を適用すると，門や柱などの建造物を構成する勾配強度の強いFAST特徴量が取得できることを示している．さらに，Guided Matching手法から勾配強度の強い正対応を求め，その情報を活用して画像中の正対応を再探索する手法は，建造物に対称性がある場合に発生する誤対応の問題においても良好に画像マッチングできることを示している．このように，目的としたアルゴリズムの考案及びデータセットの取得を実現し，本研究は，順調に推移している．
|
| Strategy for Future Research Activity |
アンコール遺跡群の遺産の価値を損なわない整備を目指し，現状の把握およびモニタリング手法に関する調査研究を行う．画像間の対応点情報と３次元形状情報を組み合わせることで，撮影位置・タイミングの異なる複数画像の映像品質を保持しつつ正確に重畳する手法を提案する．本研究では，背景，日照条件，撮影カメラの位置姿勢の変動といった，画像重畳処理を妨げる問題の解決に取り組む．応用事例としてアンコールトム・バイヨン寺院の柱の上で繁殖する地衣類の観察を支援する重畳映像を生成する．アンコール遺跡群の保存活動では，３次元計測技術に基づく形状変化解析の他に，遺跡表面に掘られたレリーフの表面劣化が重要な課題とされている．遺跡の石材表面には，地衣類などの様々な生物が付着し，それらの繁殖が表面劣化の要因となっている．この繁殖状況を調査するために，遺跡と同じ材質の石のサンプルに薬剤を塗布し，表面上の地衣類の繁殖経過を観察する方法がとられているが，サンプル表面上での観測に留まること，観察作業が目視確認によって行われるなどの課題が指摘されている．観察対象の地衣類は，繁殖速度が非常に遅く画像の見え方の変化が極めて小さい．その結果，繁殖を確認するためには撮影時間間隔を半年から１年と長くする必要があるため，背景物体，日照条件，撮影カメラの位置姿勢の変動といった画像重畳処理を妨げる要因が多く発生する．本研究では画像重畳処理を妨げる要因にロバストな超微速度撮影画像の重畳処理を提案する．
|
| Causes of Carryover |
計画していた国際会議発表を実施することができなかったため予定より差額が生じた．
今後の使用計画として、大規模な画像群を利用したカメラ位置姿勢計算のための計算機、及び国際会議発表の旅費、参加費として計上する．
|
Research Products
(3 results)
