| 研究課題/領域番号 |
22H00529
|
| 研究種目 |
基盤研究(A)
|
| 配分区分 | 補助金 |
| 応募区分 | 一般 |
| 審査区分 |
中区分61:人間情報学およびその関連分野
|
| 研究機関 | 東京大学 |
研究代表者 |
鄭 銀強 東京大学, 大学院情報理工学系研究科, 教授 (30756896)
|
| 研究分担者 |
高谷 剛志 筑波大学, システム情報系, 助教 (90809758)
|
| 研究期間 (年度) |
2022-04-01 – 2026-03-31
|
| 研究課題ステータス |
交付 (2025年度)
|
| 配分額 *注記 |
43,160千円 (直接経費: 33,200千円、間接経費: 9,960千円)
2025年度: 7,020千円 (直接経費: 5,400千円、間接経費: 1,620千円)
2024年度: 6,370千円 (直接経費: 4,900千円、間接経費: 1,470千円)
2023年度: 9,360千円 (直接経費: 7,200千円、間接経費: 2,160千円)
2022年度: 20,410千円 (直接経費: 15,700千円、間接経費: 4,710千円)
|
| キーワード | オプティカル設計 / 深層学習 / オプティカルアキテクキャサーチ / 光学設計 / 特化カメラ / コンピュータビジョン / オプティカルアーキテクチャサーチ / カメラ自動設計 / イメージング |
| 研究開始時の研究の概要 |
本研究では,光学的な構造を深層学習の枠組みで最適に設計するためのオプティカルアーキテクチャサーチを確立し,特定のシーン認識・理解タスクに特化したタスク特化カメラを創出する.従来のカメラ光学系や深層学習と異なり、本研究では,ハードウェアとソフトウェアの結合性を高めるため,ハードウェアとして光学情報を符号化する光学的エンコーダを設計し,情報を復号するデコーダはソフトウェアとして実装する.単なるソフトウェアパラメータの最適化でなく,ハードウェアとソフトウェアを一括して,光学的な構造の最適化までを挑戦する。
|
| 研究実績の概要 |
今年度は、本研究プロジェクトの将来的発展を見据え、関連領域の最新動向を踏まえた上で、以下の3つの観点から研究を推進した。 1.最新のニューラルレンダリング技術の提案。ニューラルラジアンスフィールド(NeRF)を基盤として、大規模な静的シーンや人間の動作を含む動的シーンにおける三次元形状の再構成および自由視点画像のレンダリングに取り組んだ。さらに、ローリングシャッターに起因する幾何歪みの補正もNeRFフレームワーク内で達成し、多視点情報の統合を可能とする基盤を構築した。これにより、より多様なカメラ設計への展開が見込まれる。 2.画像・映像編集に関する最新技術の提案。近年、判別学習ではなく、拡散モデルをはじめとする生成モデルを用いた画像・映像処理の研究が急速に進展している。今年度は、画像の高解像度化や少量の人手アノテーションを用いた動画生成を実現し、生成モデルによる学習データセットの効率的な構築を可能とした。これを踏まえ、今後はオプティカルアーキテクチャサーチにおけるデータセット拡張への応用を進める予定である。 3.認識アルゴリズムの脆弱性解析と保護手法の検討。従来は画像認識・理解精度の向上を目的として設計を展開してきたが、今年度は認識アルゴリズムの脆弱性を明らかにすることを目的に、物理空間における攻撃パターンの自動生成に取り組んだ。具体的には、イベントカメラを用いた人物検出や、偏光カラーカメラを用いたガラス領域のセグメンテーションといったタスクにおいて、光学アーキテクチャサーチの有効性を実証した。
|
| 現在までの達成度 |
現在までの達成度
1: 当初の計画以上に進展している
理由
当初の計画を発展させるかたちで、最新のニューラルレンダリング技術や画像・映像の生成・編集技術を提案し、多視点画像における多様な物理設計が可能となった。これにより、データセット構築の簡略化および効率化が期待される。さらに、本研究では単なる画像認識・理解の精度向上にとどまらず、認識アルゴリズムに内在する脆弱性の検出や、その保護手法の開発にも取り組んでおり、当初の計画を超える進展が得られていると考えられる。
|
| 今後の研究の推進方策 |
最終年度には、多視点情報の統合を可能とする基盤技術に基づき、カメラアレイにおけるフィルタおよびレンズ設計の最適化を進める予定である。さらに、生成モデルにおける物理的要素の操作性を高めることで、オプティカルアーキテクチャサーチにおけるデータセット拡張への応用も本格的に展開する計画である。
|