Super-resolution Restoration of Depth and Image Based on Camera Motion Simulating Fixational Eye Movement
| Project/Area Number |
19K12046
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61010:Perceptual information processing-related
|
|---|
| Research Institution | Tokyo Metropolitan University |
|---|
Principal Investigator |
Tagawa Norio 東京都立大学, システムデザイン研究科, 教授 (00244418)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Project Status |
Completed (Fiscal Year 2021)
|
| Budget Amount *help |
¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2021: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
Fiscal Year 2020: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2019: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
|
|---|
| Keywords | 固視微動 / 奥行復元 / オプティカルフロー / カメラ運動 / 最尤推定 / 多重解像度 / 変分ベイズ推定 / 多重解像度処理 / 陰影からの形状復元 / トレモア / ドリフト / マイクロサッカード / 輝度勾配法 / 反復レジストレーション / 特徴点対応 / 超解像 / 奥行き復元 / 確率共鳴 / 多視点画像 |
|---|
| Outline of Research at the Start |
本研究では、固視微動を模擬するカメラ運動によって得られる画像をもとに、シーンを超解像で認識するための方法を構築する。微小なカメラ回転によって生じる画像上のずれは、超解像情報を有し、そのずれを利用して１枚の超解像画像に合成可能である。そのためには、各画素でのずれ、したがって対象までの奥行きを正確に知る必要がある。超解像化された画像は超解像な奥行き情報を持つことになる。そこで、元の低解像度画像を入力とし、超解像画像と超解像奥行きを反復的に解くアルゴリズムを構築する。また、固視微動には小さな運動であるドリフト/トレモアに加え、大きな回転であるマイクロサッカードがあるため、両者の相補的統合も検討する。
|
| Outline of Final Research Achievements |
In this study, we conducted a computational study of depth perception by fixative tremor. There are two methods for extracting the camera motion and depth information of the optical flow generated between two consecutive images, whether or not the optical flow is explicitly detected. Both of these were examined. Focusing on the fact that the estimation accuracy of camera motion is insufficient in the method of explicitly detecting optical flow, we constructed an algorithm with higher accuracy than maximum likelihood estimation. In the framework of the direct method that does not explicitly detect optical flow, we constructed a multi-resolution processing algorithm based on the variational Bayes method.
|
| Academic Significance and Societal Importance of the Research Achievements |
本研究成果は、固視微動の奥行知覚への貢献を計算論的に明らかにするものである。固視微動のメカニズムやその機能は、未だ十分に解明されておらず、学術的に意義深いものと考える。一方で、応用面からは、カメラを不規則に動かしながら対象を撮影することで、３次元情報の抽出が可能であり、簡潔なハードウェアとして有効な技術となり得る。本研究を更に進めることで、連続画像の有する豊富な情報を十分に活用した撮像系が実現可能であり、少ない画素でも高精細な画像を得ることが可能となると期待される。
|
Report
(4 results)
Research Products
(9 results)
