| Project/Area Number |
23K24867
|
|---|
| Project/Area Number (Other) |
22H03611 (2022-2023)
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Multi-year Fund (2024)
Single-year Grants (2022-2023) |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61010:Perceptual information processing-related
|
|---|
| Research Institution | Nagoya University |
|---|
Principal Investigator |
高橋 桂太 名古屋大学, 工学研究科, 准教授 (30447437)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
長原 一 大阪大学, データビリティフロンティア機構, 教授 (80362648)
|
|---|
| Project Period (FY) |
2022-04-01 – 2026-03-31
|
| Project Status |
Granted (Fiscal Year 2024)
|
| Budget Amount *help |
¥17,160,000 (Direct Cost: ¥13,200,000、Indirect Cost: ¥3,960,000)
Fiscal Year 2025: ¥2,990,000 (Direct Cost: ¥2,300,000、Indirect Cost: ¥690,000)
Fiscal Year 2024: ¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000)
Fiscal Year 2023: ¥5,200,000 (Direct Cost: ¥4,000,000、Indirect Cost: ¥1,200,000)
Fiscal Year 2022: ¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000)
|
|---|
| Keywords | 光線空間 / 圧縮撮像 / 符号化 / 深層学習 |
|---|
| Outline of Research at the Start |
カメラの絞り面の透過率を任意のパターンで電子的に制御する符号化開口法を軸に、フレームレートを超える速度で光学的な符号化パターンを制御することで、動きのある光線情報の効率的なセンシングをめざす。符号化された信号を時間軸上でセンシングするため、画素単位の露光を高速に符号化できる特殊なイメージセンサや輝度変化を非同期に検出できるイベントセンサを活用する。また、ニューラルネットワークに基づく最新のアルゴリズムおよび3次元映像表現を活用することで、高い映像品質を達成する。これらの取り組みを通して、光線空間に内在する冗長性の解明や、視覚情報センシングの新たな局面の開拓に結びつける。
|
| Outline of Annual Research Achievements |
カメラのフレームレートを超える高速な光学制御に基づく撮像方式に関して、主に以下の二つの成果を得た。
一つ目に、開口面と撮像面を同時に符号化する撮像方式に取り組んだ。まず、本方式において、2022年度までにハードウェアおよびアルゴリズムの構築が一通り完成している部分に関して、成果の取りまとめを行なった。さらに、撮像データから光線空間を復元するアルゴリズムにおいて、ニューラルレンダリング技術（NeRF）を組み込むことで機能を拡張し、有限の視点数からなる離散的な光線空間（多視点画像）を復元するだけではなく、連続的な光線空間を復元できるようにした。この拡張により、わずか1枚の符号化画像から高効率かつ高品質に自由視点映像を生成することが可能になった。
二つ目に、開口面の符号化とイベントカメラを組み合わせる光線空間の撮像方式に取り組んだ。まず、被写体が静止している場合を対象に検討を進め、提案手法と従来の符号化開口法（フレームベースカメラによるもの）との関係性を明らかにするとともに、大量の学習データを用いることで開口面の符号化パターンと光線空間の復元アルゴリズムの双方を深層学習の枠組みで最適化する手法を考案した。さらに、実際のハードウェアを用いた実験を通して、提案手法の有効性を確認した。また、被写体が動く場合についても基礎的な検討を進め、ハードウェア制約等を含めた課題を整理した。
これらに加えて、光線空間の冗長性の解明に取り組み、ニューラル表現を用いた光線空間の圧縮符号化や、学習用データセットに依存しない自己教師型学習による高速ビデオ・光線空間の復元について有用な成果を得た。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
本研究の成果は、当該分野で国内最大のイベントである画像の認識・理解シンポジウム2023においてショートオーラル発表の選定され、画像符号化シンポジウム・映像情報メディア処理シンポジウム2023において学生論文賞、International Workshop of Advanced Image TechnlogyにてBest Paper Awardを獲得するなど、国内外の学会において高い評価を得た。さらに、符号化開口とイベントを用いた撮像手法は、アイデアの先進性を高く評価され、当該分野の最難関であるIEEE/CVF Conference on Computer Vision and Pattern Recognition（CVPR) 2024（2024年度に発表予定）に採択された。
|
| Strategy for Future Research Activity |
カメラのフレームレートを超える高速な光学制御に基づく撮像方式に関して、主に以下の二つの項目に取り組む。
まず、符号化開口法とイベントカメラを用いた光線空間の撮像法をさらに発展させる。この撮像方式については、2023年度までに、静止した被写体を撮影対象として、ハードウェアおよびアルゴリズムの実装を一通り実現している。2024年度以降には、これまでの成果を学会において発表してフィードバックを得るとともに、ハードウェアおよびアルゴリズム両面の改善を検討し、提案手法をさらに洗練させる。さらに、撮影対象を静止した被写体から動きのある被写体へと拡張する。この拡張に伴う困難は、被写体の動きによる変化と光学系での符号化による変化の両者が混在してセンシングされる点にある。シミュレーションおよび実機実験を繰り返しつつ、ハードウェアおよびアルゴリズムの両面から有効な技術を模索する。
さらに、撮像データから光線空間を復元するアルゴリズム処理をさらに発展させ、学習データに依存しない自己教師型学習に基づく手法を確立することをめざす。自己教師型では、様々な被写体に個別に対応すればよくなるため、手法の柔軟性が高まり、復元画質においてもアドバンテージがあることが期待される。2023年度までの検討で明らかになったように、ニューラル・レンダリングのための表現形式（NeRF）は、3次元的な一貫性を保証する強力な制約として機能する。本研究の独自の視点として、光学系の高速制御による撮像側での符号化とNeRFによる光線空間表現の組み合わせの可能性を、自己教師型学習の枠組みにおいて模索する。
これら二項目に加え、圧縮撮像の根幹をなす光線空間の冗長性の解明や、その冗長性と深く関わる光線空間の表現形式についても多面的に検討する。
|
