アンティークステレオ写真をディジタルアーカイブし活用するための基盤技術

2015 Fiscal Year Research-status Report

• Project/Area Number: 15K00445
• Research Institution: Tokyo University of Agriculture and Technology
• Principal Investigator: 清水 郁子 東京農工大学, 工学(系)研究科(研究院), 准教授 (70312915)
• Project Period (FY): 2015-04-01 – 2018-03-31
• Keywords: アンティークステレオ / ステレオマッチング / 画像修復

Outline of Annual Research Achievements

手法の評価に用いるためのデータを収集を行った．東京農工大学・小谷善行 名誉教授の厚意により，小谷教授のコレクションを借用し，実際のアンティークステレオ写真をディジタル化した．スキャナーを用いると対象に強い光を照射することになること，また，ステレオ写真の台紙が湾曲しているものが多くスキャナーの利用が難しいことから，百種類以上のステレオ写真をディジタルカメラで撮影した．画像修復の処理を行うためには，ステレオ写真がまっすぐ写っている必要がある．しかし，収集した画像データを撮影する際に若干ずれてしまうこと，また，前述のように，ステレオ写真が貼られている紙自体の湾曲もあることから，前処理を行う必要がある．今年度は，前処理を行うためのインタフェースの作成，紙の湾曲補正のアルゴリズムの検討を行った．
また，ステレオ画像からの奥行きの推定に関する検討を行った．奥行き推定のために特徴点の特徴量を比較し，対応付けを行う必要がある．このとき，特徴量の類似度だけを評価して対応付けを行うと，誤った対応付けを排除することができないため，幾何学的整合性を保証するステレオ画像のマッチング手法について検討した．幾何学的整合性を評価するために，画像の対応からデータを得た視点の位置を推定する必要があるが，視点位置推定を行うアルゴリズムは様々なものが提案されている．複数のアルゴリズムの比較を行い，対応付けされた特徴点が少ない場合にも比較的安定して視点位置推定を行うことができるアルゴリズムを採用し，マッチングアルゴリズムを設計して予備実験を行った．
さらに，提示方法についても検討を行った．当初は立体視可能なディスプレイを用いることを計画していたが，立体視可能なディスプレイの多くが廃盤となり入手困難であるため，両眼視差を与えることでユーザに立体感を提示するのではなく，ユーザの動きによって立体感を提示する手法を検討した．

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

実際のアンティークステレオ写真を借用したところ，当初予想していなかった紙の湾曲の問題があることが判明し，それを補正するための処理の開発に時間がかかっている．また，当初，立体視可能なディスプレイを採用する予定であったが，メーカー廃盤となり入手困難であったため，28年度以降に実施予定であった提示方法の検討は，ユーザの動きによって立体感を提示するシステムについて検討を開始した．

Strategy for Future Research Activity

画像修復に不可欠なステレオ画像の奥行き推定手法の開発は，産学連携研究員を雇用して推進する．アンティークステレオのディジタルデータの補正，幾何学的整合性を保証するステレオ画像のマッチング手法について，引き続き研究する．
奥行き推定の手法は，組合せ最適化であるため，あり得ない組合せを削除したとしても，計算時間が非常にかかる．しかし，この処理には並列的に実行可能な互いに独立な計算が多く含まれるため，本研究ではGPGPUを用いて並列処理する．
ステレオ画像と対応する奥行きが得られれば，左右の画像が整合する画像修復を行うことが可能である．本研究では，修復者が修復領域を指定して修復結果を確認するために，領域の選択や結果確認のインタフェースを備えたシステムを開発する．このとき，傷や汚れのある部分は，一般に左右の眼に対応する2枚の画像で異なる傷や汚れがついている可能性があることに着目する．奥行きがうまく求められない部分や奥行きが不自然に変化する部分を修復の候補領域として提示する．手法の評価は，定量評価とユーザによる評価の両方を行う．人工的に欠損させた評価用画像を生成して，修復した画像を正解画像と比較し，ピーク信号対雑音比(Peak signal-to-noise ratio, PSNR)値や structural similarity(SSIM)などの一般的によく用いられる画質指標により精度を評価する．さらに，被験者に修復した画像を提示し，ユーザ評価も実施する．
また，ユーザへの提示方法についても引き続き研究し，提示システムを構築する．

Causes of Carryover

当初購入を予定していた，両眼視差により立体感を提示するディスプレイがメーカー廃盤となり購入できなかったため，代替方法を検討するのに時間を要した．

Expenditure Plan for Carryover Budget

両眼立体視可能なディスプレイの購入は難しいので，提示方法については変更を検討し，プロジェクタの購入を行う．また，当初予定していなかった実際のアンティークステレオ写真の紙の湾曲への対応などの処理を必要とするため，産学連携研究員を雇用する．