| 研究課題/領域番号 |
19K12039
|
|---|
| 研究機関 | 千葉大学 |
|---|
研究代表者 |
川本 一彦 千葉大学, 大学院工学研究院, 教授 (30345376)
|
|---|
| 研究期間 (年度) |
2019-04-01 – 2023-03-31
|
| キーワード | 深層学習 / 状態空間表現 / 動画生成 / 行動認識 |
|---|
| 研究実績の概要 |
本研究では，深層学習モデルと状態空間モデルを統合し，行動認識や動画生成といったコンピュータビジョン分野における動画像理解タスクへ応用展開する．本年度の実績は次の通りである．前年度に引き続き，動画像生成や行動認識のための深層モデルを開発した．まず，動画像生成の制御を状態パラメータによって可能になるような深層モデルの構築と学習を試みた．動画生成を状態空間で表現できることを検証するために，ゼロショット画像生成タスクを設定した．ゼロショット画像認識では，1つの動画データが2つの属性に関するクラスを持ち，データのラベルはそれらの組み合わせで構成的に表現される．例えば，「Aさんが手を振る」とラベル付けされた動画は，「人物」と「行動」の属性に対してそれぞれ「A」と「手を振る」というクラスを持つことになる．構成的ゼロショット生成では，それぞれの属性のクラスを単独で見るとデータが存在するが，2つの組み合わせでは存在しないゼロショットデータを生成することになる．構成的ゼロショット生成は，学習だけでは十分な精度がでないこと分かり，入力動画データを事前に加工することによって，動画の状態空間表現ができることがわかった．他にも，一人称行動認識や強化学習にも取り組み，深層観測モデルの構築やロボティクス分野への応用を進めた．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
2021年度は，実績の概要で述べたように，深層状態空間モデルの応用として，構成的ゼロショット動画生成に取り組んだ．深層モデルに入力する動画像を解きほぐしができるように事前に加工することで，解きほぐされ動画表現を扱うことができるようになった．これにより，構成的ゼロショット動画生成の品質が向上することを評価実験で示した．この研究成果は国際学会で発表し，プレゼンテーション賞を受賞している． 並行すすめている動画像理解に向けたタスクでは，動画像生成や一人称行動認識に取り組んだ．動画像生成では，動画像の内容や動きを表す潜在状態表現を解くほぐすために，深層動画生成モデルに識別器を導入するなどして，状態空間表現を得るための工夫を検討した．この成果は，国内会議で発表している．一人称行動認識では，学習した環境とは異なる環境での認識精度を向上させることを目的とした．環境に依存しない特徴を獲得するために，敵対的な学習を導入し，行動を表す適切な潜在状態表現を獲得することを試みた．認識精度は向上することは示せたものの，行動クラス間のデータ数の不均一に起因する精度劣化が見られ，潜在状態表現の改善が必要であることがわかった．この成果は，国内学会で発表している．以上，動画像理解のための深層状態空間モデル開発と評価実験は，おおむね当初の計画通りに研究を進めており，順調に進展している．
|
| 今後の研究の推進方策 |
2021年度で開発した深層モデルは，一定の精度は達成できたものの，改善が必要である．とくに，動画像の潜在表現が制御できるように解きほぐすことが重要であることが，判明した．行動属性や環境属性などが分離されて表現できれば，属性を制御しながらの生成や認識が可能になり，深層状態空間モデルでの状態表現として適していると考えている．
|
| 次年度使用額が生じた理由 |
COVID-19の影響により，学会がオンライン開催になったため，おもに旅費について次年度使用額が生じた．次年度は，より積極的な学会参加や論文掲載のために使用する計画である．
|
