2022 Fiscal Year Annual Research Report
Optical Architecture Search for Task-Oriented Camera Creation
| Project/Area Number |
22H00529
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
鄭 銀強 東京大学, 大学院情報理工学系研究科, 准教授 (30756896)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
高谷 剛志 筑波大学, システム情報系, 助教 (90809758)
|
|---|
| Project Period (FY) |
2022-04-01 – 2026-03-31
|
| Keywords | コンピュータビジョン / イメージング / オプティカルアーキテクチャサーチ |
|---|
| Outline of Annual Research Achievements |
本研究プロジェクトの最終目標の達成に向けて、今年度は下記の3つのタスクを実施しました。
１．VIS-NIR広帯域ハイパースペクトルデータセットの収集。電動フィルターホイールと冷却カメラに基づくカスタマイズされたスペクトルイメージャーを利用して、多くの自然物と人工物の広帯域ハイパースペクトルデータセットを収集しました。スペクトル範囲は400nmから900nmまでです。可変液晶フィルターを用いて撮影された既存の広帯域データセットと比較して、私たちが収集したデータセットははるかに高いスペクトル精度、空間均一性、及びシーンのバリエーションを有しています。
２．３D形状と反射の同時推定。本研究プロジェクトの後期では、フェーズマスク設計やアパーチャ設計のようなオプティカルアーキテクチャサーチを実施する予定です。そのため、3D形状と反射モデルの大規模なデータセットが必要となります。ニューラルレンダリング技術を通じて3D形状と反射を同時推定可能とする新しい方法を提案しました。既存の方法と比較して、提案手法は物体表面のトポロジーを保持することができ、変形を伴う動的な物体の扱いに非常に優れています。
３．光学アーキテクチャサーチの初めての試み。私たちは、低照度環境における2つの画像処理タスク、すなわち可視範囲での画像鮮明化と近赤外範囲での画像着色を統合しようと試みました。カメラフィルターの製造は照明スペクトルの設計よりもはるかに高価であることを考慮して、人間の目には見えにくい物理的な制約の下で照明スペクトルの設計に取り組みました。人間の視覚的に不快ではなく、低照度環境で鮮やかなカラー画像の復元が可能とした全自動の照明設計方法が開発されました。最適化されていない照明に対する利点も確認されました。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
オプティカルアーキテクチャサーチを順調に進めるためには、高品質なデータ、イメージングハードウェアのモデリング、ネットワークアーキテクチャサーチなどの重要な要素技術が必要です。初年度には、VIS-NIR広帯域ハイパースペクトルデータセットの収集を達成し、3D形状と反射を同時に推定可能なインバースレンダリング技術を開発しました。画像センサーのノイズ特性の解析も一部完了しています。さらに、照明の視認性制約を考慮し、鮮やかなカラー画像の再現に特化した補助照明スペクトルの自動設計に成功しました。これにより、当初の計画通りに進行しています。
|
| Strategy for Future Research Activity |
2023年度では、上記の進捗に基づいて、本研究提案の中核である「オプティカルアーキテクチャサーチ」を重点的に推進します。ソフトウェア上で，仮想的に，光学エンコーダとデコーダを一括で取り扱えるようになる。光学エンコーダ部分では、フィルターやイルミネーションのスペクトルを最適化するため、畳み込み演算に基づいたオペレーションモデルを導入する。デコーダ部分では、画像セグメンテーションや画像復元に向けた畳み込みニューラルネットワークを導入する。更に、ニューラルアーキテクチャサーチ（NAS）によるネットワーク構造の最適化を行います。具体的には，NAS において複数の拘束の導入方法は確立されていないため，光学的な拘束を導入可能なオプティカルアーキテクチャサーチを検討する。構造が決定したら，従来の深層学習の枠組みでその構造におけるパラメータ最適化を実施します。これらの工程を繰り返すことによって，物理ベースモデル（光学的エンコーダ）およびデコーダの最適化を行います。
|
