Improvement of Depth from Defocus technique based on neural networks
Project/Area Number |
21K11935
|
Research Category |
Grant-in-Aid for Scientific Research (C)
|
Allocation Type | Multi-year Fund |
Section | 一般 |
Review Section |
Basic Section 61010:Perceptual information processing-related
|
Research Institution | University of Fukui |
Principal Investigator |
吉田 俊之 福井大学, 学術研究院工学系部門, 教授 (50240297)
|
Project Period (FY) |
2021-04-01 – 2024-03-31
|
Project Status |
Granted (Fiscal Year 2022)
|
Budget Amount *help |
¥3,120,000 (Direct Cost: ¥2,400,000、Indirect Cost: ¥720,000)
Fiscal Year 2023: ¥520,000 (Direct Cost: ¥400,000、Indirect Cost: ¥120,000)
Fiscal Year 2022: ¥130,000 (Direct Cost: ¥100,000、Indirect Cost: ¥30,000)
Fiscal Year 2021: ¥2,470,000 (Direct Cost: ¥1,900,000、Indirect Cost: ¥570,000)
|
Keywords | Depth from Defocus / depth推定 / ニューラルネットワーク / CNN / 誤差低減 / 高精度化 |
Outline of Research at the Start |
Depth from Defocus(DFD)法は,対象物体上の焦点面を変化させて撮像した多焦点画像群を用いて物体各点までの距離値を推定する手法として知られ,シンプルハードウエア構成で高精度の距離推定が可能な一方,シミュレーションと比べ実画像に対する推定精度が大きく低下する問題が残されている.そこで本研究では,ニューラルネットの汎用性に着目し、ニューラルネットの学習を通じてボケ生成モデルやレンズの非理想性を間接的に補正することで、DFD法の精度改善を図る.
|
Outline of Annual Research Achievements |
Depth from Defocus(DFD)法は,対象物体に対する多焦点画像群を用いて物体各点までの距離(depth)値を推定する手法で,過去に様々な手法が提案されている一方,既存の手法はシミュレーションと比べ実画像に対する推定精度が大きく低下する問題が残されている.本研究ではニューラルネットワークの汎用性に着目し,畳み込みニューラルネットワーク(CNN)の学習を通じてDFD法の推定誤差を低減するCNN-DFD手法の研究開発を目的とする.初年度の令和3年度は,計算機シミュレーションによって生成した多焦点画像群を用い,そのdepth値を教師データとしてNNを学習させ,精度評価を行った. 2年目の令和4年度は,実多焦点画像(実画像)に対するNNの学習方法を確立した.実画像に対しては,CNNの学習に必要なdepth値の分布を厳密に求めることは困難で,従ってdepth値を教師データとして用いることなくCNNを学習させる手法が必要となる.そこで,学習に用いる対象物体を平面に限定し,対象平面を所定の間隔で移動しながら撮像した多焦点画像群を教師データとして用いて,各多焦点画像群に対して推定されるdepth値が2つの条件,(a) 撮影時の間隔に一致する,(b) 平面を構成する,を満たす様に学習させる手法を提案した.具体的には,(a)と(b)を1階および2階微分を用いて表現し,その誤差の最小化を通して学習を行った.学習させたCNNに対してそのdepth推定精度を評価し,従来手法を超える精度を有することを確認した.なお,平面に限定するのは学習に用いる対象物体のみであり,提案手法によって学習させたCNNは,対象ブロック内でdepth分布がほぼ一定である前提条件を満たす形状であれば,どのようなものについても適用可能である.
|
Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究における最も重要な課題は,教師データとしてdepth値を必要としないCNNの学習方法の確立であり,本年度はこの課題がエレガントな枠組みの中で確立できたため,概ね順調に進んでいると判断される.
|
Strategy for Future Research Activity |
これまでは基本的に学習方法の確立とその妥当性の評価を目的として来た一方,最終年度に当たる令和5年度は,確立したCNNの学習法を用いて既存手法の推定精度を超えるCNN-DFDの検討を行う.具体的には,DFD-CNNの構造の最適化を通して推定精度の改善を目指すと共に,学習の効率化を図る.また,複数のレンズに対して実際にCNN-DFDを構成し,既存手法との比較を通して,提案手法全体の優位性を明らかにする
|
Report
(2 results)
Research Products
(3 results)