画素配置の擬似的な不規則化による高精細・低情報量な画像システムの研究

Research Project

Project/Area Number	22K04137
Research Category	Grant-in-Aid for Scientific Research (C)
Allocation Type	Multi-year Fund
Section	一般
Review Section	Basic Section 21030:Measurement engineering-related
Research Institution	Kanazawa University
Principal Investigator	秋田純一金沢大学, 融合科学系, 教授 (10303265)
Co-Investigator(Kenkyū-buntansha)	小松孝徳明治大学, 総合数理学部, 専任教授 (30363716) 戸田真志熊本大学, 総合情報統括センター, 教授 (40336417)
Project Period (FY)	2022-04-01 – 2025-03-31
Project Status	Granted (Fiscal Year 2022)
Budget Amount *help	¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000) Fiscal Year 2024: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000) Fiscal Year 2023: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000) Fiscal Year 2022: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Keywords	擬似的不規則画素配置 / CMOSイメージセンサ / 顔画像の個人認証 / ダウンサンプリング / ディスプレイ / 画素配置 / 擬似的不規則 / 高精細 / 画像情報量
Outline of Research at the Start	画像を取得・表示する画像システムと、そこで行う画像処理は、現代社会のみならず、AI・IoT時代でも必要不可欠かつ有用な技術であるが、画像情報量と計算コストの増加が大きな問題となっており、画像の高精細化と画像情報量の削減の両立は大きな課題である。本研究では、従来は考慮されてこなかった、画素内で実質的に画像を構成する領域（有効領域）の位置を擬似的に不規則とすることで、画像の高精細化と画像情報量の削減の両立と、回路的な実現性をもつ独自の手法を用いて、画像の高精細化と画像情報量の削減を両立する画像システムと、そこで行う画像処理の実用性・有用性を明らかとする。
Outline of Annual Research Achievements	本研究では、画像を構成する画素の中で、実質的に画像に寄与する有効領域の位置を画素内で変位させることで、等価的に画像の解像度を向上させる効果を持つ、独自の「擬似的不規則画素配置」を、画像入力、画像処理と画像表示のそれぞれに適用することで画像を扱う性能向上を目指すものである。まず画像の入力については、今年度はCMOSイメージセンサの試作の機会をもつことができなかった。擬似的不規則画素配置をもつCMOSイメージセンサ自体の実証は済んでおり、基本的には通常のCMOSイメージセンサの性能向上の手法が適用できることから、大きな問題はないと考えられる。またその代替として、既存の高解像度カメラで取得した画像を、サンプル点を範囲内で乱数で選択することで、擬似的不規則画素配置を模擬する手法を継続して使用し、画像処理・画像表示のシミュレーションで使用している。次に画像処理については、顔画像の個人認証をとりあげ、擬似的不規則画素配置による性能向上の評価を行った。従来から用いている個人認識アルゴリズムを用い、入力する顔画像を、通常のダウンサンプルと擬似的不規則のダウンサンプルの両者によって生成し、認識精度の比較を行った。その結果、擬似的不規則画素配置の特性上、乱数の性質によって認識精度のばらつきが出るものの、平均値では通常のダウンサンプル画像よりも擬似的不規則のダウンサンプル画像を入力するほうが認識精度が高いことが示された。CMOSイメージセンサでは画素構造が固定となることから、CMOSイメージセンサでの擬似的不規則画素配置の生成の乱数列は固定となる。この状況を模擬するために、認識時のダウンサンプル画像生成に同一の乱数列を用いる場合でも、同様の認識精度の向上を確認することができた。また、画像表示については、被験者実験の実施のために必要な、十分に高解像度な小型ディスプレイの選定を進めた。
Current Status of Research Progress	Current Status of Research Progress 3: Progress in research has been slightly delayed. Reason 本研究を構成する3つの柱である、画像入力、画像処理、画像表示のそれぞれへの擬似的不規則画素配置の適用のうち、画像処理については顔画像の個人認証処理をとりあげ、順調に研究が進展している。画像入力についてはCMOSイメージセンサの試作・評価が遅れているが、通常のCMOSイメージセンサの生の向上の技法を適用することが可能であり、根源的な問題はないと考えられる。画像表示については、被験者実験の実施に必要な、小型で高解像度のディスプレイの選定が難航しており、被験者実験が未実施であるが、選定のめどはたてることができた。
Strategy for Future Research Activity	画像処理については、これまでに実施した顔画像の個人認証処理の検討を継続する。またより実用的なアルゴリズムとして深層学習を用いた顔画像の個人認証アルゴリズムも性能比較検討の対象として研究を開始する。画像入力についてはCMOSイメージセンサの設計・試作をすすめる。画像表示については、選定したディスプレイを用い、被験者実験の計画、特に画素パラメータの選定をすすめる。