2021 Fiscal Year Annual Research Report
Research on a Multi-modal Registration Model for Video Matching and Its Advanced Applications
| Project/Area Number |
20H00607
|
|---|
| Research Institution | Osaka University |
|---|
Principal Investigator |
槇原 靖 大阪大学, 産業科学研究所, 教授 (90403005)
|
|---|
| Project Period (FY) |
2020-04-01 – 2024-03-31
|
| Keywords | コンピュータビジョン / パターン認識 / バイオメトリクス |
|---|
| Outline of Annual Research Achievements |
P1) 解きほぐし表現学習による空間・時間・色の多元位置合わせモデル
P1-1) 映像照合に適した変形方策の検討：2020年度の空間位置合わせに関する検討に引き続いて、今年度は時間位置合わせに関する検討を行った。特に、非同期の多視点映像が与えられた場合の同期手法として、時間的に連続な位相（標準的な進行時間）系列を出力するようなネットワーク構造として、Gated recurrent unit (GRU) を含めた構造を設計し、代表者らが保有する多視点歩行映像データベースであるOUMVLPを用いて、位相の推定精度を評価した。
P1-2) 解きほぐし表現のネットワーク構造と損失関数の設計：上記の時間位置合わせ手法を用いて、非同期の多視点映像を位置合わせするためのネットワーク構造を設計した。特に、人物の歩行映像を対象として、人体モデル当てはめ手法によって得られた人体モデルの時間・空間のずれを小さくするような損失関数を導入し、空間位置合わせ・時間同期された人体の関節パラメータを出力するような深層学習モデルを設計した。関節位置の正解データを生成できるCGデータセットを構築して、精度評価実験を実施した。
P2) 空間・時間・色の多元変形場を活用した映像照合
P2-1)映像照合ネットワークの構築：上記の非同期多視点映像に対する多元位置合わせモデルによって生成される、高精度な3次元人物モデル系列を利用して、歩行映像解析による本人認証問題に適したネットワーク構造について検討した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初計画にある項目P1-1)P2-1)P2-1)共に、予定通り実施できたため、概ね順調に進展している。
|
| Strategy for Future Research Activity |
当該年度の成果を元に，次年度は以下の項目の研究を推進する。
P1) 解きほぐし表現学習による空間・時間・色の多元位置合わせモデル
P1-2) 解きほぐし表現のネットワーク構造と損失関数の設計：昨年度は，非同期の多視点映像を時間的に位置合わせするためのネットワーク構造を設計し、非同期多視点人物映像を対象とした、人体モデル当てはめの問題に取り組んだ。今年度は、更に、人物映像が一部欠落した場合に空間的な位置合わせも同時に行うネットワーク構造を設計することで、より適用範囲の広い人物モデル当てはめ手法へと拡張する。
P2) 空間・時間・色の多元変形場を活用した映像照合
P2-1) 映像照合ネットワークの構築：上記の非同期多視点映像に対する空間及び時間多元位置合わせモデルによって生成される、高精度な3次元人物モデル系列を利用して、歩行映像解析による本人認証問題に適したネットワーク構造を設計し、多視点歩行映像データベースOUMVLPやその他独自に収集する歩行映像データセットを用いて有用性を評価する。
P2-2) 変形場自体を手がかりとした映像照合：空間・時間・色の各変形場が持つ次元（例えば、空間変形は2次元、時間変形は1次元）を考慮して、相違度を算出するネットワーク構造を設計し、P2-1)で設計した映像照合ネットワーク構造に追加する。最終的な相違度は、変形前の映像ペアに対する相違度と、変形場による相違度を全結合層で統合する等して算出する。
|
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
[Presentation] HID 2021: Competition on Human Identification at a Distance 20212021
Author(s)
S. Yu, Y. Huang, L. Wang, Y. Makihara, E.G. Reyes, F. Zheng, M.A.R. Ahad, B. Lin, Y. Yang, X. Haijun, B. Huang, Y. Zhang
Organizer
The 5th Int. Joint Conf. on Biometrics (IJCB 2021)
Int'l Joint Research
-
-
-
-
-
-
