2017 Fiscal Year Research-status Report

異なる露光パラメータで撮像した信号からの高品質な画像再構成

Research Project

Project/Area Number	16K00249
Research Institution	Tokyo University of Science
Principal Investigator	浜本隆之東京理科大学, 工学部電気工学科, 教授 (10297624)
Co-Investigator(Kenkyū-buntansha)	杉村大輔東京理科大学, 工学部電気工学科, 講師 (10712052)
Project Period (FY)	2016-04-01 – 2019-03-31
Keywords	イメージセンサ / 再構成処理 / 高ダイナミックレンジ
Outline of Annual Research Achievements	（１）低ノイズ化を目指した露光パラメータとその再構成処理方式の検討：多重露光時間撮像において、空間解像度の低下と動きボケを抑制しつつ高いダイナミックレンジ画像を再構成できる方式について検討した。露光パラメータの適切な設定と、黒つぶれや白飛びおよび動きぼけの有無に基づいて、2つの補間処理のどちらかを選択する事で、空間解像度の低下の抑制と動きぼけの除去を同時に行い、ノイズの少ない高品質な画像を取得する。さらに、ハードウエア実装を前提とした、フレームレートの低下や動きボケを抑制した、ノイズが少なく高いダイナミックレンジ画像を再構成できる方式について検討した。FPGAを用いてその一部をハードウエア実装し、簡易な評価実験を行うことで、その有効性を確認した。また、低照度環境において近赤外の情報を活用する事で、大幅にノイズを低減させる手法についても検討し、シミュレーションにより評価した。（２）提案方式を実現するイメージセンサLSIの設計：単位ブロック内で露光パラメータ制御が可能な機能を有する、新たなイメージセンサLSIの設計と試作を行った。0.18μm1P5M　CMOSイメージセンサ専用のプロセスで、完全電荷転送型埋め込みフォトダイオードを有する200ｘ200画素、画素サイズ17.42μm角、ダイサイズ4.8mm角、フレームレート480fpsのLSIを設計した。画素内には、横型オーバーフロー蓄積容量が設けられ、高感度信号と高飽和信号を同時に取得することができる。また、画像中の局所領域ごとに露光時間や時間解像度を変化させることも可能である。本LSIを評価するためのボードもあわせて設計し、試作した。
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason 高ダイナミックレンジ化や低ノイズ化を目的とした撮像および再構成処理方式の検討については、概ね計画通りに進んでいる。FPGAへのハードウエア実装を意識した方式についての検討も行っており、一部の処理はVerilogを用いて実際に実装を行い、その有効性の評価を行っている。次年度は、さらに方式の検討を進め、露光パラメータの設定方式と合わせて、再構成画像の品質を高めるために、被写体の状況に適応できる方式について検討する。新たなイメージセンサについては、200ｘ200画素と小さいが、様々な機能を集積したLSIの試作が完了している。本LSI用の評価ボードも完成しているので、その評価については平成30年度に行う予定である。
Strategy for Future Research Activity	平成30年度は、FPGAを用いた画像入力システムの構築と、その画像入力システムへの提案方式の実装と評価を行う。既に試作したイメージセンサLSIとFPGA等を用いて、画像入力システムを構築する。基本的には画像再構成処理はFPGAへの実装を試みるが、状況によっては、ボードを介してコンピュータと接続させ、画像信号の処理をFPGAとコンピュータの両方で実施する形態についても検討する。さらに、これまで検討してきた、高ダイナミックレンジ化や低ノイズ化を図るために、それぞれに適切なパラメータによる撮像とその再構成処理について、再度見直しを行いその性能を向上させた上で、本システムに実装しリアルタイムで動作させる。また、評価実験により本方式の有効性について検討する。
Causes of Carryover	（理由）イメージセンサLSI試作の費用が不足したため、その分については校費から支出したからである。なお、本年度の予算は、シミュレーション環境の構築や評価ボード用の部品等に活用した。（使用計画）画像入力システムの構築やその評価のために、適切に活用する予定である。