2020 Fiscal Year Annual Research Report
Research on a Multi-modal Registration Model for Video Matching and Its Advanced Applications
| Project/Area Number |
20H00607
|
|---|
| Research Institution | Osaka University |
|---|
Principal Investigator |
槇原 靖 大阪大学, 産業科学研究所, 教授 (90403005)
|
|---|
| Project Period (FY) |
2020-04-01 – 2024-03-31
|
| Keywords | コンピュータビジョン / パターン認識 / バイオメトリクス |
|---|
| Outline of Annual Research Achievements |
P1) 解きほぐし表現学習による空間・時間・色の多元位置合わせモデル
P1-1) 映像照合に適した変形方策の検討
位置合わせの変形場の表現として、空間変形を例に取ると、少数パラメタによるアフィン変換から、多数のパラメタを用いた自由形状変形モデルまで、様々なものが提案されている。また、位置合わせの変形元・先の設定については、入力画像を登録画像に合わせる変形や、入力画像・登録画像を共に基準画像（例えば、顔認証における正面顔画像）に合わせるような変形が用いられる。更には、映像間の最大変形量を抑えるため、入力画像と登録画像の中間状態へ変形することも考えられる。そこで、標準的な映像照合データセットを用いて、映像照合に適した空間・時間・色の変形方策（変形場表現や変形元・先の設定）を検討する。当該年度は特に、空間的な変形方策について、アフィン変形モデルや自由変形モデル等を対象として検討を進めた。結果として、画像上に格子点上に制御点を配置した自由変形モデルを用いた空間的な変形方策を採用し、位置合わせネットワークとして実装した。
P2) 空間・時間・色の多元変形場を活用した映像照合
P2-1)映像照合ネットワークの構築
多元位置合わせモデルによって生成される変形前の映像ペアを用いた映像照合ネットワークを構築する。具体的には、映像照合の正解ラベル付きの学習データによる照合損失を加えて、多元位置合わせモデルを含めた映像照合ネットワークをEnd-to-endで学習する。 本年度は特に、上記のP1-1)の静止画像に対する空間的な変形をEnd-to-endで学習し、その有効性を確認する。具体的には、速度変化による空間変形を伴う歩容特徴画像を入力として、その空間変形を位置合わせによって緩和した上で認証するネットワークを構築し、OUTD-Aデータセットを用いてその有効性を示した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初計画にある項目P1-1)P2-1)共に、予定通り実施できたため、概ね順調に進展している。
|
| Strategy for Future Research Activity |
当該年度の成果を元に，次年度は以下の項目の研究を推進する。
P1) 解きほぐし表現学習による空間・時間・色の多元位置合わせモデル
P1-1) 映像照合に適した変形方策の検討 昨年度の空間位置合わせに関する検討に引き続いて、今年度は時間位置合わせに関する検討を行う。特に、非同期の多視点映像が与えられた場合の同期手法として、時間的に連続な位相（標準的な進行時間）系列を出力するようなネットワーク構造の検討を行い、代表者らが保有する多視点歩行映像データベースであるOUMVLPを用いて、その有効性を検証する。
P1-2) 解きほぐし表現のネットワーク構造と損失関数の設計 上記の時間位置合わせ手法を用いて、非同期の多視点映像を位置合わせするためのネットワーク構造を設計する。特に、人物映像を対象として、人体モデル当てはめ手法によって得られた人体モデルの時間・空間のずれを小さくするような損失関数を導入する。
P2) 空間・時間・色の多元変形場を活用した映像照合
P2-1)映像照合ネットワークの構築 上記の非同期多視点映像に対する多元位置合わせモデルによって生成される、高精度な3次元人物モデル系列を利用して、歩行映像解析による本人認証問題に適したネットワーク構造を設計し、多視点歩行映像データベースOUMVLPを用いて有用性を評価する。
|
