2022 Fiscal Year Annual Research Report
Research on a Multi-modal Registration Model for Video Matching and Its Advanced Applications
| Project/Area Number |
20H00607
|
|---|
| Research Institution | Osaka University |
|---|
Principal Investigator |
槇原 靖 大阪大学, 産業科学研究所, 教授 (90403005)
|
|---|
| Project Period (FY) |
2020-04-01 – 2024-03-31
|
| Keywords | コンピュータビジョン / パターン認識 / バイオメトリクス |
|---|
| Outline of Annual Research Achievements |
P1) 解きほぐし表現学習による空間・時間・色の多元位置合わせモデル
P1-2) 解きほぐし表現のネットワーク構造と損失関数の設計：2021年度は，非同期の多視点映像を時間的に位置合わせするためのネットワーク構造を設計し、非同期多視点人物映像を対象とした、人体モデル当てはめの問題に取り組んだ。2022年度は、更に、人物映像が一部欠落した場合に空間的な位置合わせを行うネットワーク構造を設計することで、より適用範囲の広い人物モデル当てはめ手法へと拡張した。特に，人物の欠損部分によって推定結果が不安定化するカメラパラメータに対して，人物の足下や頭頂などをアンカー点として制約することで安定化する枠組みを実装した．
P2) 空間・時間・色の多元変形場を活用した映像照合
P2-1) 映像照合ネットワークの構築：上記の空間欠損データに対して推定される高精度な3次元人物モデル系列を入力とする歩容認証ネットワークを設計した。特に、欠損割合による特徴の変化を抑制するための特徴変換器を導入することで、上部欠落や下部欠落、また、それらが時間的に一定である場合や変化する場合など，様々な空間的欠損パターンに対しても高精度な認証が可能であることを示した。
P2-2) 変形場自体を手がかりとした映像照合：部分欠落を含む歩行シルエットを入力とした歩容認証手法において，欠落割合の程度によって相違度の分布が異なることから，空間変形の一つである欠落割合を手がかりとした相違度正規化ネットワークを設計し，大規模歩行映像データベースを用いて，その有用性を確認した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
空間的欠落を含む映像に対する照合問題に取り組むことで，当初計画にある項目の内容を実施できたため．
|
| Strategy for Future Research Activity |
当該年度の成果を元に、次年度は以下の項目の研究を推進する。
P1) 解きほぐし表現学習による空間・時間・色の多元位置合わせモデル
P1-3) 解きほぐし表現を利用したデータ拡張
画像認識で頻繁に用いられる並進やスケーリングといった単純なデータ拡張とは異なり、解きほぐし表現によるデータ拡張は、実際のデータの組み合わせによって学習サンプルを生成できる点が優れている。本研究の場合、具体的には、ある映像ペアから得られた変形場を、別の映像ペアから生成された変形前の映像に作用させることで、様々な空間・時間・色変形を伴う映像ペアを生成する。拡張された学習データを用いて 、映像照合の精度評価を行う。
P3) 位置合わせ過程を考慮した判断根拠の提示
GradCam等の深層学習向けの判断根拠の可視化手法を、位置合わせ過程を考慮した本手法用に拡張する。具体的には、変形前の位置の合った映像ペア上で相違の原因となった箇所を可視化すると共に、空間変形場、時間変形場（時間伸縮関数）、色変形場（色変換関数）の上でも、相違の原因となった箇所を可視化する。これにより、本手法の多元位置合わせモデルによる映像照合のいずれの過程で相違が生じたかを明らかにする。被験者による主観評価を通して、従来の位置ずれを伴う映像上での可視化との比較実験を行う。
|
