| 研究課題/領域番号 |
22H00529
|
|---|
| 研究種目 |
基盤研究(A)
|
| 配分区分 | 補助金 |
|---|
| 応募区分 | 一般 |
|---|
| 審査区分 |
中区分61:人間情報学およびその関連分野
|
|---|
| 研究機関 | 東京大学 |
|---|
研究代表者 |
鄭 銀強 東京大学, 大学院情報理工学系研究科, 教授 (30756896)
|
|---|
| 研究分担者 |
高谷 剛志 筑波大学, システム情報系, 助教 (90809758)
|
|---|
| 研究期間 (年度) |
2022-04-01 – 2026-03-31
|
| 研究課題ステータス |
交付 (2024年度)
|
| 配分額 *注記 |
43,160千円 (直接経費: 33,200千円、間接経費: 9,960千円)
2024年度: 6,370千円 (直接経費: 4,900千円、間接経費: 1,470千円)
2023年度: 9,360千円 (直接経費: 7,200千円、間接経費: 2,160千円)
2022年度: 20,410千円 (直接経費: 15,700千円、間接経費: 4,710千円)
|
|---|
| キーワード | コンピュータビジョン / オプティカルアーキテクチャサーチ / カメラ自動設計 / イメージング |
|---|
| 研究開始時の研究の概要 |
本研究では，光学的な構造を深層学習の枠組みで最適に設計するためのオプティカルアーキテクチャサーチを確立し，特定のシーン認識・理解タスクに特化したタスク特化カメラを創出する．従来のカメラ光学系や深層学習と異なり、本研究では，ハードウェアとソフトウェアの結合性を高めるため，ハードウェアとして光学情報を符号化する光学的エンコーダを設計し，情報を復号するデコーダはソフトウェアとして実装する．単なるソフトウェアパラメータの最適化でなく，ハードウェアとソフトウェアを一括して，光学的な構造の最適化までを挑戦する。
|
| 研究実績の概要 |
本研究プロジェクトの最終目標の達成に向けて、今年度は下記の3つのタスクを実施しました。
１．VIS-NIR広帯域ハイパースペクトルデータセットの収集。電動フィルターホイールと冷却カメラに基づくカスタマイズされたスペクトルイメージャーを利用して、多くの自然物と人工物の広帯域ハイパースペクトルデータセットを収集しました。スペクトル範囲は400nmから900nmまでです。可変液晶フィルターを用いて撮影された既存の広帯域データセットと比較して、私たちが収集したデータセットははるかに高いスペクトル精度、空間均一性、及びシーンのバリエーションを有しています。
２．３D形状と反射の同時推定。本研究プロジェクトの後期では、フェーズマスク設計やアパーチャ設計のようなオプティカルアーキテクチャサーチを実施する予定です。そのため、3D形状と反射モデルの大規模なデータセットが必要となります。ニューラルレンダリング技術を通じて3D形状と反射を同時推定可能とする新しい方法を提案しました。既存の方法と比較して、提案手法は物体表面のトポロジーを保持することができ、変形を伴う動的な物体の扱いに非常に優れています。
３．光学アーキテクチャサーチの初めての試み。私たちは、低照度環境における2つの画像処理タスク、すなわち可視範囲での画像鮮明化と近赤外範囲での画像着色を統合しようと試みました。カメラフィルターの製造は照明スペクトルの設計よりもはるかに高価であることを考慮して、人間の目には見えにくい物理的な制約の下で照明スペクトルの設計に取り組みました。人間の視覚的に不快ではなく、低照度環境で鮮やかなカラー画像の復元が可能とした全自動の照明設計方法が開発されました。最適化されていない照明に対する利点も確認されました。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
オプティカルアーキテクチャサーチを順調に進めるためには、高品質なデータ、イメージングハードウェアのモデリング、ネットワークアーキテクチャサーチなどの重要な要素技術が必要です。初年度には、VIS-NIR広帯域ハイパースペクトルデータセットの収集を達成し、3D形状と反射を同時に推定可能なインバースレンダリング技術を開発しました。画像センサーのノイズ特性の解析も一部完了しています。さらに、照明の視認性制約を考慮し、鮮やかなカラー画像の再現に特化した補助照明スペクトルの自動設計に成功しました。これにより、当初の計画通りに進行しています。
|
| 今後の研究の推進方策 |
2023年度では、上記の進捗に基づいて、本研究提案の中核である「オプティカルアーキテクチャサーチ」を重点的に推進します。ソフトウェア上で，仮想的に，光学エンコーダとデコーダを一括で取り扱えるようになる。光学エンコーダ部分では、フィルターやイルミネーションのスペクトルを最適化するため、畳み込み演算に基づいたオペレーションモデルを導入する。デコーダ部分では、画像セグメンテーションや画像復元に向けた畳み込みニューラルネットワークを導入する。更に、ニューラルアーキテクチャサーチ（NAS）によるネットワーク構造の最適化を行います。具体的には，NAS において複数の拘束の導入方法は確立されていないため，光学的な拘束を導入可能なオプティカルアーキテクチャサーチを検討する。構造が決定したら，従来の深層学習の枠組みでその構造におけるパラメータ最適化を実施します。これらの工程を繰り返すことによって，物理ベースモデル（光学的エンコーダ）およびデコーダの最適化を行います。
|
