Deep State Space Modeling Methods for Video Understanding
| Project/Area Number |
19K12039
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61010:Perceptual information processing-related
|
|---|
| Research Institution | Chiba University |
|---|
Principal Investigator |
|
|---|
| Project Period (FY) |
2019-04-01 – 2023-03-31
|
| Project Status |
Completed (Fiscal Year 2022)
|
| Budget Amount *help |
¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000)
Fiscal Year 2021: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2020: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
Fiscal Year 2019: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
|
|---|
| Keywords | 状態空間モデル / 深層学習 / 解きほぐし / 状態空間表現 / 動画生成 / 行動認識 / 動画像理解 / 深層マルコフモデル / 一人称行動認識 |
|---|
| Outline of Research at the Start |
本研究では，深層学習モデルと状態空間モデルを統合し，行動認識，複数人物追跡，あるいは動画生成といったコンピュータビジョン分野における動画像理解タスクへ応用展開する．深層学習（ディープラーニング）は，画像認識等の知的情報処理を実現するための強力な方法である．一方，状態空間モデルは，時系列解析やシステム制御・同定に広く利用されている．これら２つのモデルを統合することにより，知的情報処理を含む時系列解析法を発展させることができる．
|
| Outline of Final Research Achievements |
This study tackled video understanding based on integrating deep learning and state-space models. First, we introduced a deep Markov model for predicting chaotic dynamics. Next, we extend the deep Markov model to a 2D convolutional neural Markov model that handles both time series and spatial data. Furthermore, we developed deep models for video generation and action recognition. Then, we worked on building a deep model that enables control of video generation and developed zero-shot image generation. Furthermore, we developed a sequential variational autoencoder that separates static and dynamic features in video images. These studies demonstrated the effectiveness of our approach.
|
| Academic Significance and Societal Importance of the Research Achievements |
深層学習モデルと状態空間モデルの統合により、コンピュータビジョンにおける動画像理解タスクを適切にモデル化でき、行動認識、人物追跡、動画生成といったタスクがより精度高く、効率的に行えるようになる。これは、監視システム、自動運転車、ロボティクスなどの分野に貢献できる。また、動画生成技術は、エンターテイメントや広告への応用も期待できる。
|
Report
(5 results)
Research Products
(24 results)
