動画像からの三次元復元におけるパラメータの自動決定に関する研究

2021 Fiscal Year Research-status Report

• Project/Area Number: 21K11961
• Research Institution: Shiga University
• Principal Investigator: 佐藤 智和 滋賀大学, データサイエンス学部, 教授 (50362835)
• Project Period (FY): 2021-04-01 – 2025-03-31
• Keywords: コンピュータビジョン / 三次元復元 / Structure from motion

Outline of Annual Research Achievements

本研究では、画像群からの三次元復元を実現するStructure from Motion (SfM)法の実用時において障害となっていたパラメータ/モジュール決定の問題を解決する方法を開発している。2021年度は、主に研究項目(a)である「リファレンスデータを用いたカメラ位置・姿勢推定結果の信頼度算出手法の開発」に取り組んだ。
具体的には、カメラ移動の真値を含む車載動画像の公開データベースであるKITTIを用いて、これを真値として、SfMの実行時に得られる中間出力(特徴点の追跡フレーム数、再投影誤差)を特徴量として、これらとSfMの推定結果の良否の関係を分析した。特徴量ベクトルは、動画像を区分化してそれぞれの区間から特徴量を抽出し、それらを連結したものとした。
また、推定結果の正誤については、カメラ軌跡の真値とSfMから得られるカメラ軌跡を重ね合わせ、全体の長さで正規化したうえで、対応フレーム間の距離が閾値以上離れたものを推定失敗、それ以外を推定成功として、推定結果を分類した。また、ランダムフォレストを用いてこれらの特徴量と結果の良否の関係を学習させ、特徴量から結果を予測するモデルを構築した。
実験では、複数の動画像に対してSfMを多数回適用し、正誤ラベルの生成とモデルの学習、分割交差検証による予測精度の評価を行った。その結果、94%の高い精度で推定結果の正誤を判定することが可能であることを確認した。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

計画に基づいて研究項目(a)を推進し、機械学習によって一定の精度での推定結果の正誤判定が可能であることが確認できたため。

Strategy for Future Research Activity

研究項目(b)である、自由視点画像生成の高品位化について研究を推進する。

Causes of Carryover

コロナの継続により、学会活動等が制限されたため。次年度以降の研究会等への発表経費に利用する。