| Project/Area Number |
23K11173
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61010:Perceptual information processing-related
|
|---|
| Research Institution | Tokyo University of Science |
|---|
Principal Investigator |
佐藤 俊一 東京理科大学, 工学部電気工学科, 准教授 (50563566)
|
|---|
| Project Period (FY) |
2023-04-01 – 2026-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000)
Fiscal Year 2025: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2024: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2023: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
|
|---|
| Keywords | Wavefront Coding / Apodization / Neural Network / Deep Neural Network / Point spread function |
|---|
| Outline of Research at the Start |
本研究では，波面コード化光学的処理とDeep Neural Network（DNN）による画像処理を連携することで，高解像度・広被写界深度画像を取得できる撮像技術の実現を目指す．そのために，光学マスクと再構成フィルタの最適な再構成処理方法，再構成画像の画質評価方法，再構成処理へのフィードバック方法について検討する．
|
| Outline of Annual Research Achievements |
一般に8Kカメラ等の高解像度カメラでは，被写界深度が狭くなり実用上焦点合せやカメラワークが難しいという問題が生じる．そのため高解像度で広被写界深度なカメラの実現が求められている．被写界深度を拡大する方法として，レンズに3次位相マスクを挿入し単一の再構成フィルタで画像を復元するWavefront Coding(WFC)と呼ばれる技術が研究されている．ただし，単一の再構成フィルタで広い被写界深度をカバーする場合，理想的な再構成フィルタとの差異によって復元画像にノイズが重畳され画質が劣化する．これらのノイズを低減する方法として，Apodization（APD)の適用や深層学習を用いた最適化等が提案されている．
本研究では，APDを適用したWFCのコーディングとデコーディングの条件を変え，さらに深層学習ネットワーク（Denoising Convolutional Neural Network: DnCNN)によるデノイズを適用する手法を提案し，WFC再構成画像の画質向上を検討した．
提案手法による再構成画像をeSFR(edge Spatial Frequency Response：エッジ空間周波数応答) テストチャートを用いて評価した結果，どの被写体距離においても，従来手法のWFCやAPDを適用したWFCのeSFRより大きく，解像度が高いことがわかった．また，再構成画像にDnCNNフィルタを適用し，ノイズを低減した出力画像を生成し，画質評価を行った結果，再構成画像と比較して，出力画像のノイズを低減できていることがわかった．SSIM(Stractural SIMilarity) で評価した結果は，デノイズの前後で，それぞれ0.77，0.88であった．以上の結果により，提案手法が広い被写界深度で画質を改善できることを確認できた．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
研究計画調書の初年度（2023年度）の目標「（ア）撮像の光学処理と画像処理の相関関係を基本として取得した画像を再構成する．学習用画像を作成する光線追跡計算の最適化を行い，かつ作成した学習用画像を用いたディープラーニングを最適に処理する手法について検討する．」および「（イ）画像処理にDNNを適用することにより，更に低ノイズ化，高画質化可能な手法を検討する．」に関して，一定の成果を示すことができたと考えている．
|
| Strategy for Future Research Activity |
撮像処理アルゴリズムの「（イ）画像処理にDNNを適用することにより，更に低ノイズ化，高画質化可能な手法を検討する．」に関しては、深層学習の学習用画像の質，量を再検討することで，引き続き検証を行っていく．また，再構成画像の評価技術に関しては，「(ア) 提案の撮像アルゴリズムで再構成した画像と従来の撮像技術で取得した画像との画質評価比較を行う．」および「(イ) 従来の画質評価技術を適用した場合の課題を明らかにする．その上で，再構成画像の評価方法を構築する．」ことを進めていく．
|
