2020 Fiscal Year Research-status Report
Super-resolution Restoration of Depth and Image Based on Camera Motion Simulating Fixational Eye Movement
| Project/Area Number |
19K12046
|
|---|
| Research Institution | Tokyo Metropolitan University |
|---|
Principal Investigator |
田川 憲男 東京都立大学, システムデザイン研究科, 教授 (00244418)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | 多重解像度処理 / 陰影からの形状復元 / トレモア / ドリフト / マイクロサッカード |
|---|
| Outline of Annual Research Achievements |
本年度は，昨年度の課題であった連続する２フレームでの処理精度の向上を目指した．トレモアに相当する微小カメラ運動に対し，多重解像度ベイジアンネットワークの手法を構築して，その性能を確認した．人工画像を用いた数値解析を実施したところ，理論構築の際に想定している条件を満たしていれば完全な動作が可能であることがわかった．
加えて，トレモアのみでなく，ドリフトとマイクロサッカードも組み入れた奥行き復元理論の構築を目指し，調査と検討を行った．調査として，テクスチャを有する対象に対する陰影からの形状復元（SFS：）手法の最近の進展を，論文調査を中心に進めた．その結果，任意の光源環境を扱うことができ，影の発生も考慮可能な手法がいくつか提案されていることがわかった．ただし，多重解像度処理やそこでの情報伝搬処理等はまだ実現できていないことも確認できた．このことを踏まえ，固視微動カメラからの復元問題にSFSを導入するアルゴリズムの検討を進めた．具体的には，マイクロサッカードのタイミングでテクスチャと奥行きを共に多重解像度処理により復元するものであり，今後，アルゴリズムによる具体化を図る計画である．
|
| Current Status of Research Progress |
Current Status of Research Progress
4: Progress in research has been delayed.
Reason
当初，陰影の利用は研究計画に入れていなかったが，近年の研究動向を踏まえ，またシステムとしての性能向上を図ることに，研究計画を軌道修正した．当初，計画していた手法では，テクスチャに乏しい領域の奥行きは，そうでない領域で推定される奥行きで補間することと考えていた．しかし，陰影を積極的に利用する研究が近年のトレンドであることを深慮して，本研究にも組み入れることとした．このことは，マイクロサッカードの際にオクルージョンが生じ，２フレームの情報が使えないときにも有効に機能すると期待できる．また，テクスチャ情報の抽出性能の向上も予想できる．
以上，マイクロサッカードを扱う際に，オクルージョンの処理，並びに奥行きだけではなくテクスチャ情報や光源情報，反射特性も高解像に復元する方法を検討したことが，全体の進捗の遅れに繋がったものと考える．
|
| Strategy for Future Research Activity |
上記理由でも述べたように，マイクロサッカードによる奥行きとテクスチャの復元手続きを具体化する計画である．マイクロサッカードではフレーム間の動きが大きいため，対応点探索を行わない立場では多重解像度処理の適用が有効である．奥行き復元だけであれば，当研究室の過去の手法を修正拡張することで実現可能であるが，テクスチャまでを扱うためには大幅な修正，特に未知量が増えることによる問題の複雑化に対処する必要がある．加えて，オクルージョンの発生確率や発生領域が増えることへの対策は，十分に検討することが重要である．トレモアとドリフトの時間帯に復元される情報の有効活用は検討に値する．
深層学習によるオクルージョン検出の研究が存在することから，テクスチャ存在領域の判定や形状の平面性の判定等も深層学習によって行う研究の可能性も残されている．
|
| Causes of Carryover |
十分な研究成果が出せなかったことから，学会発表等に予定していた金額を使用しなかった．次年度は最終年度でもあるので，この点を深く反省し，多くの研究成果の公表を目指したい．
そのために，実験補助，プログラム作成補助としての予算の利用も予定している．
|
