2019 Fiscal Year Annual Research Report
Dynamical systems approach to optical flow estimation
| Project/Area Number |
18H01463
|
|---|
| Research Institution | Kyushu Institute of Technology |
|---|
Principal Investigator |
瀬部 昇 九州工業大学, 大学院情報工学研究院, 教授 (90216549)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
齊藤 剛史 九州工業大学, 大学院情報工学研究院, 准教授 (10379654)
榎田 修一 九州工業大学, 大学院情報工学研究院, 教授 (40346862)
延山 英沢 九州工業大学, 大学院情報工学研究院, 教授 (50205291)
|
|---|
| Project Period (FY) |
2018-04-01 – 2022-03-31
|
| Keywords | オプティカルフロー / 動画像処理 / 状態推定 / 非線形オブザーバ / 無限次元系 |
|---|
| Outline of Annual Research Achievements |
本研究課題の基本的な着想は，輝度保存則を動的システムと見なし，動的システムの状態の一部であるオプティカルフローを時系列データとしての動画像の輝度から推定を行うというものであった．この推定法を隠れなどによって輝度保存則が成立しない状況に拡張し，オプティカルフローの推定精度を向上させるのが本研究課題の主な目標である．輝度保存則が成り立たない状況においても物体の移動を表すオプティカルフローを推定するために，時系列データとしての動画像から積極的に輝度の生成・消滅量を推定することを考えた．そのためには動的システムモデルの修正が必要となるが，生成・消滅する輝度を新たな状態量として動的システムモデルに組み入れることを考えた．新たな動的システムモデルは状態数は増えるものの観測信号数は変わらないため，状態の推定可能性である局所可観測性の成立が不明であった．2019年度は新たな推定量を加えた数学モデルの局所可観測性について研究を行った．特に，一般的な状態（つまり，十分に画像がテクスチャを持ち，移動についても仮定を設けない場合）の局所可観測性だけでなく，局所可観測性が失われる（つまり，推定が不可能になり状態が一意に決定できなくなる）状態が画像や物体の運動の観点からどのような場合であるかについての検討を行った．残念ながら年度内での成果発表には至らなかったが，2020年度に成果発表を行う予定である．また，この推定モデルは輝度保存則に相当する拘束条件のない LiDAR などによる三次元点群からの物体の移動量推定へ適用できる可能性がある．三次元点群の時系列データからの物体運動の推定についても検討を開始している．また，深層学習を用いたオプティカルフロー推定法との比較も重要であり，2018年度から比較のために深層学習によるオプティカルフロー推定の基礎的な評価について既に着手している．
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
従来，動的システムに基づくオプティカルフロー推定では，状態推定法として拡張カルマンフィルタを用いてきた．これは，量子化誤差などを考慮した推定を行う上で，優れた方法であるからである．2019年度は，推定の基本に立ち返り，時系列データからの推定として，逐次最小二乗法による推定の性能評価を行った．成果は国内学会で発表を行ったものの，国際会議での発表までは行えていない．また，隠れの定量評価の基本的な原理である輝度の生成・消滅の数理モデルについては，局所可観測性の解析に時間を要し，学会発表まで行えなかった．2020年度は新たなモデルの提案を行うとともにその局所可観測性についての解析も行う予定である．
深層学習を用いたオプティカルフロー推定法との比較検討も2018年度から行っているが，研究成果としてまとめるには至っていない．こちらも今後も継続して研究を進め，成果発表が行えるようにしたい．
|
| Strategy for Future Research Activity |
これまで，隠れという局所的なオプティカルフローの不連続性を示す場所でのオプティカルフロー推定について焦点を絞って推定モデルの構築を行ってきた．一方，3次元点群データを2次元距離画像と見なすと，オプティカルフロー推定を適用することで，物体の運動を推定できる可能性がある．ただし，この場合は輝度保存則に相当する保存量はなく，オプティカルフロー推定とは異なる．そこで，輝度保存則では説明できない補正量を陽に数学モデルに取り込み，その空間的な変化も同時に推定する数学モデルについて研究を行う．この数学モデルに基づく推定法は3次元点群データに基づく物体の運動推定に用いることができる可能性も持ちつつ，従来の隠れの定量評価にも適用できると考えている．
現在，この考えに基づくある1点におけるオプティカルフローと輝度補正量の同時推定モデルの基本的な可観測性の解析に目処が付き，2020年度中の学会発表を目指している．さらに2020年度中には，この推定モデルを稠密推定と呼ばれる画像全体のオプティカルフローと輝度補正量を推定する推定への適用可能性を検討し，さらには，輝度補正量に疎性制約を導入した隠れの検出の可能性の検討までを行いたいと考えている．また，先に述べたように，この数学モデルは3次元点群データからの物体の運動推定に適用できる可能性があるので，実3次元点群データを用いた推定実験も行う計画である．
また，深層学習を用いたオプティカルフロー推定法との比較検討も，提案法の有効性を示す上で重要である. 2020年度以降も継続して行っていく計画である．
|
