| 研究課題/領域番号 |
19J14105
|
|---|
| 研究機関 | 北海道大学 |
|---|
研究代表者 |
Ambalathankandy Prasoon 北海道大学, 情報科学研究科, 特別研究員(DC2)
|
|---|
| 研究期間 (年度) |
2019-04-25 – 2021-03-31
|
| キーワード | Image Enhancement |
|---|
| 研究実績の概要 |
我々は、 トンネル内外のシーンなど、高ダイナミックレンジ画像がどのように、脳内で再構成されるかの研究を行ってきた。その中で、今までに画像の局所領域の輝度制御に基づいて個々のピ クセルを制御することで、画像全体も同時に制御する手法の研究開発を進めてきた。その手法は、画像の局所統計量に基づ く Smoothed Local Histogram 平滑化（ SLHE ）を基にしている。得られた局所関数群は不動点を持ち、その軌跡は画像の全体特性を指し示すことがわかった。このことは、画像の局所操作だけで、画像全体を制御できることを意味している。同時に、本処理を機械学習に適合するとニューロンの局所関数を活性化関数とみなして、ニューロンのオフセットが全体制御に関係することもわかった。 本研究では、局所関数が、明暗 Halo 効果を個別に管理かつノイズ抑制をも包括制御する。 また、主観・客観評価により、本研究の有効性を検証したところ、錯視を効果的に使った画像の強調についての特徴も明らかになってきた。これは、Ｘ線などの医療画像、霧・かすみ補正（ PM2.5 含む）などの実応用に影響する。そして、最新のフィルタ手法、すなわち、画像の全体（低周波成分 ）と局所（高周波成分 ）を分離 ・ 制御する方法と比較を行った。我々の手法は錯視を再現できるが、フィルタ手法では、局所成分の最適制御が難しく、錯視の再現が不可能であることがわかった。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
SLHEに基づく本手法が高品質画像生成に適していることと同時に、様々な実応用におけるSLHEの適用についての分析も行った。本手法は人間の知覚として「自然さ」に関する評価値が高い。これは錯覚が関与しており、X線及び霧/かすみ（PM2.5）の条件下で獲得された画像復元に直接影響する。主観評価の結果も考慮し、最新のエッジ保持フィルタを使用した画像強調は、X線画像応用に適していない。これは、ユーザーによるゲイン設定と側抑制に基づいたテクスチャ強調の錯覚が関係している。本手法の画像出力特性を人間の感性に従った処理で考察する。本手法では、人が感じた錯覚の状態を画像処理として再現するのに対し、エッジ保存型フィルタを用いた画像強調は錯覚を破たんさせることが分かった。この実験の結果は国際会議DICTA2019にて発表した。
Ambalathankandy, Prasoon, et al. "Radiography Contrast Enhancement: Smoothed LHE Filter a Practical Solution for Digital X-Rays with Mach Band." 2019 Digital Image Computing: Techniques and Applications (DICTA). IEEE, 2019.
|
| 今後の研究の推進方策 |
現在、機械学習に基づいた方法は、画像分類、顔検出、ビデオ分析など、多くのコンピュータービジョンタスクを解決するための非常に重要なツールになっている。今までに、SLHEはニューロンの活性化機能で実現できることがわかった。本手法を深層畳み込みニューラルネットワーク（DCNN）と相互変換する場合、大サイズの領域指定を実現するため初期層において5層以上のレイヤーを消費することがわかり、初期層のDCNN入れ替えは適さないことがわかった。低解像度化した画像に対するDCNNを並列に配置し、空間物体の識別と本手法の輝度補正関数におけるローカル関数用の空間制御とグローバル制御パラメータを操作することが適当との判断を得た。Gharbiらが最近使用したHDRNetのようなアーキテクチャは、DCNNを介してハードウェアにTMOを実装するための理想的なベンチマークとなりうる。HDRNetの場合、局所関数制御を空間内の単純なパラメータ化された輝度グリッドとして表現する。従って、高解像度向けの高効率な輝度変換手法に対して、低解像度向けDCNNによるパラメータ制御を組み合わせることで、知的かつ高効率な画像処理を実現できる。よって、最終年度は、低解像度DCNN+高解像度・高効率画像処理により、DCNNとの融合処理の実現を目指す。
Gharbi, Michaël, et al. "Deep bilateral learning for real-time image enhancement." ACM Transactions on Graphics (TOG) 36.4 (2017): 1-12.
|
