2020 Fiscal Year Annual Research Report
Dynamical systems approach to optical flow estimation
| Project/Area Number |
18H01463
|
|---|
| Research Institution | Kyushu Institute of Technology |
|---|
Principal Investigator |
瀬部 昇 九州工業大学, 大学院情報工学研究院, 教授 (90216549)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
齊藤 剛史 九州工業大学, 大学院情報工学研究院, 教授 (10379654)
榎田 修一 九州工業大学, 大学院情報工学研究院, 教授 (40346862)
延山 英沢 九州工業大学, 大学院情報工学研究院, 教授 (50205291)
|
|---|
| Project Period (FY) |
2018-04-01 – 2022-03-31
|
| Keywords | 動画像処理 / 状態推定 / 非線形オブザーバ / 無限次元系 |
|---|
| Outline of Annual Research Achievements |
本研究課題の基本的な着想は，輝度保存則を動的システムと見なし，動的システムの状態の一部であるオプティカルフローを時系列データとしての動画像の輝度から推定を行うというものであった．本提案法に限らず輝度保存則に基づく推定法共通の問題点は，隠れなどによって輝度保存則が成立しない状況で推定精度が劣化することである．この問題を解決するために推定法を輝度保存則が成立しない状況に拡張し，オプティカルフローの推定精度を向上させるのが本研究課題の主な目標である．
輝度保存則が成り立たない状況においても物体の移動を表すオプティカルフローを推定するために，時系列データとしての動画像から積極的に隠れによる輝度の生成・消滅量を推定することを検討した．そのためには動的システムモデルとしての輝度保存則の修正が必要となるが，2019年度から生成・消滅する輝度を新たな状態量として動的システムモデルに組み入れることの検討を始めた．そして2020年度はこの推定モデルに基づき画像上のある一点におけるオプティカルフローの推定法を提案し，十分に推定が行えることを数値実験によって確認した．その成果は国際会議で発表を行った．
また，初年度から並行して取り組んでいる深層学習を用いたオプティカルフロー推定の性能評価について，実システムにおける検討をおこなった．2020年度の成果として，オプティカルフロー推定と深層学習とを組み合わせた認識手法を開発し，人の口形認識への応用などについて研究成果をまとめ，学会発表を行った．また，深層学習とオプティカルフローの対比ではなく，オプティカルフローを情報として用いる深層学習の応用についても検討を始め，成果として学会発表を行った．
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
従来，動的システムに基づくオプティカルフロー推定では，状態推定法として拡張カルマンフィルタを用いてきた．これは，量子化誤差などを考慮した推定を行
う上で，優れた方法であるからである．2020年度は，隠れの定量評価の基本的な原理である輝度の生成・消滅の数理モデルについて，学会発表の準備まで進めていたものの，COVID-19 の影響で指導学生のプログラム開発が遅れたこと，発表予定学会の開催が見送られたことなどから，発表予定学会を変更するなどの影響があった．
|
| Strategy for Future Research Activity |
今年度提案した輝度の生成・消滅量を新たな状態量とする推定モデルの画像全体のオプティカルフローを推定する稠密推定への拡張が今後の課題となる．一般に拘束条件が少ない状態量を増やすと，むしろ推定精度が劣化することが起きる．そのため，隠れなどの輝度の生成・消滅が生じる画像上の領域でのみ新たに導入した補正量が働くような推定モデルを提案する必要がある．そのような推定の仕組みを組み入れることがオプティカルフローの推定精度向上の鍵となる．そのための理論的な提案を行っていく．
また，深層学習を活用したオプティカルフロー推定については，単にオプティカルフローの推定精度の比較ではなく，オプティカルフローを深層学習にどのように取り込んでいくか，その方策も応用においては重要である．このような観点での研究も推進していきたい．
|
