研究課題
P1) 解きほぐし表現学習による空間・時間・色の多元位置合わせモデルP1-1) 映像照合に適した変形方策の検討：2020年度の空間位置合わせに関する検討に引き続いて、今年度は時間位置合わせに関する検討を行った。特に、非同期の多視点映像が与えられた場合の同期手法として、時間的に連続な位相（標準的な進行時間）系列を出力するようなネットワーク構造として、Gated recurrent unit (GRU) を含めた構造を設計し、代表者らが保有する多視点歩行映像データベースであるOUMVLPを用いて、位相の推定精度を評価した。P1-2) 解きほぐし表現のネットワーク構造と損失関数の設計：上記の時間位置合わせ手法を用いて、非同期の多視点映像を位置合わせするためのネットワーク構造を設計した。特に、人物の歩行映像を対象として、人体モデル当てはめ手法によって得られた人体モデルの時間・空間のずれを小さくするような損失関数を導入し、空間位置合わせ・時間同期された人体の関節パラメータを出力するような深層学習モデルを設計した。関節位置の正解データを生成できるCGデータセットを構築して、精度評価実験を実施した。P2) 空間・時間・色の多元変形場を活用した映像照合P2-1)映像照合ネットワークの構築：上記の非同期多視点映像に対する多元位置合わせモデルによって生成される、高精度な3次元人物モデル系列を利用して、歩行映像解析による本人認証問題に適したネットワーク構造について検討した。
2: おおむね順調に進展している
当初計画にある項目P1-1)P2-1)P2-1)共に、予定通り実施できたため、概ね順調に進展している。
当該年度の成果を元に，次年度は以下の項目の研究を推進する。P1) 解きほぐし表現学習による空間・時間・色の多元位置合わせモデルP1-2) 解きほぐし表現のネットワーク構造と損失関数の設計：昨年度は，非同期の多視点映像を時間的に位置合わせするためのネットワーク構造を設計し、非同期多視点人物映像を対象とした、人体モデル当てはめの問題に取り組んだ。今年度は、更に、人物映像が一部欠落した場合に空間的な位置合わせも同時に行うネットワーク構造を設計することで、より適用範囲の広い人物モデル当てはめ手法へと拡張する。P2) 空間・時間・色の多元変形場を活用した映像照合P2-1) 映像照合ネットワークの構築：上記の非同期多視点映像に対する空間及び時間多元位置合わせモデルによって生成される、高精度な3次元人物モデル系列を利用して、歩行映像解析による本人認証問題に適したネットワーク構造を設計し、多視点歩行映像データベースOUMVLPやその他独自に収集する歩行映像データセットを用いて有用性を評価する。P2-2) 変形場自体を手がかりとした映像照合：空間・時間・色の各変形場が持つ次元（例えば、空間変形は2次元、時間変形は1次元）を考慮して、相違度を算出するネットワーク構造を設計し、P2-1)で設計した映像照合ネットワーク構造に追加する。最終的な相違度は、変形前の映像ペアに対する相違度と、変形場による相違度を全結合層で統合する等して算出する。
すべて 2022 2021 その他
すべて 国際共同研究 (3件) 雑誌論文 (6件) (うち国際共著 2件、 査読あり 6件、 オープンアクセス 3件) 学会発表 (12件) (うち国際学会 10件、 招待講演 4件)
Pattern Recognition Letters
巻: 156 ページ: 104～111
10.1016/j.patrec.2022.01.023
IEEE Access
巻: 9 ページ: 150268～150282
10.1109/ACCESS.2021.3126067
Prof. of the 43rd Annual Int. Conf of the IEEE Engineering in Medicine and Biology Society (EMBC 2021)
巻: 1 ページ: 1895-1901
10.1109/EMBC46164.2021.9630304
Prof. of 2021 IEEE/CVF International Conference on Computer Vision Workshops (ICCVW)
巻: 1 ページ: 4106-4115
10.1109/ICCVW54120.2021.00456
Prof. of the 5th Int. Joint Conf. on Biometrics (IJCB 2021)
巻: 1 ページ: 1-7
10.1109/IJCB52358.2021.9484377
巻: 1 ページ: 1-8
10.1109/IJCB52358.2021.9484362
