Compressive Light Field Acquisition using Fast Optical Control
| Project/Area Number |
23K24867
|
|---|
| Project/Area Number (Other) |
22H03611 (2022-2023)
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Multi-year Fund (2024)
Single-year Grants (2022-2023) |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61010:Perceptual information processing-related
|
|---|
| Research Institution | Nagoya University |
|---|
Principal Investigator |
高橋 桂太 名古屋大学, 工学研究科, 准教授 (30447437)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
長原 一 大阪大学, データビリティフロンティア機構, 教授 (80362648)
|
|---|
| Project Period (FY) |
2022-04-01 – 2026-03-31
|
| Project Status |
Granted (Fiscal Year 2024)
|
| Budget Amount *help |
¥17,160,000 (Direct Cost: ¥13,200,000、Indirect Cost: ¥3,960,000)
Fiscal Year 2025: ¥2,990,000 (Direct Cost: ¥2,300,000、Indirect Cost: ¥690,000)
Fiscal Year 2024: ¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000)
Fiscal Year 2023: ¥5,200,000 (Direct Cost: ¥4,000,000、Indirect Cost: ¥1,200,000)
Fiscal Year 2022: ¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000)
|
|---|
| Keywords | 光線空間 / 圧縮撮像 / 符号化 / 深層学習 |
|---|
| Outline of Research at the Start |
カメラの絞り面の透過率を任意のパターンで電子的に制御する符号化開口法を軸に、フレームレートを超える速度で光学的な符号化パターンを制御することで、動きのある光線情報の効率的なセンシングをめざす。符号化された信号を時間軸上でセンシングするため、画素単位の露光を高速に符号化できる特殊なイメージセンサや輝度変化を非同期に検出できるイベントセンサを活用する。また、ニューラルネットワークに基づく最新のアルゴリズムおよび3次元映像表現を活用することで、高い映像品質を達成する。これらの取り組みを通して、光線空間に内在する冗長性の解明や、視覚情報センシングの新たな局面の開拓に結びつける。
|
| Outline of Annual Research Achievements |
まず、開口面と撮像面の同時符号化による動的光線空間の圧縮撮像について述べる。この方式では、カメラにおける単一の露光時間の間に、開 口面のマスクパターンと画素面のマスクパターンを同期しつつ複数回切り替えることで、動的光線空間の情報を符号化された形式でセンサに記録する。その観測結果を計算機上で処理することで、元の動的光線空間を復元する。2022年度においては、再構成される光線空間の品質向上のため、復元アルゴリズムの改善に取り組んだ。具体的には、時系列方向に一貫した復元結果を得るため、時間的に連続する3枚の撮影画像を用いるアルゴリズムを新たに構築し、シミュレーションと実機上での実験により有効性を確かめた。
次に、開口面の符号化とイベントカメラを組み合わせる方式について述べる。この方式については、先行する研究例がないため、2022年度には 基本的な原理検討を行った。イベントカメラでは、各画素において時間軸方向の輝度変化を高い時間分解能で記録できる。開口面の符号化パターンを高速に制御することで、光線空間の視点軸方向の変化を、時間軸上の輝度変化に置き換え、イベント としてセンシングできる。このアイデアを計算機上でシミュレーションし有効性を確認するとともに、実機上でも基礎的な実験に着手した。
最後に、光線空間に適した表現形式の検討について述べる。光線空間の表現形式は、光線空間の構造に直結しており、この構造の理解は圧縮撮像の実現において本質をなす。また、光線空間は、実用上は離散化された多視点映像として扱われるものの、本来は連続空間上の信号である。 光線空間に適した表現形式として、近年に相次いで提唱された3次元表現形式であるMultiplane ImageやNeural Radience Field等の有効性を検証するとともに、それら表現形式とセンシングとの組み合わせの可能性を模索した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
開口面と撮像面の同時符号化による撮像については、そのアイデアの独自性が評価された結果、当該分野のトップ会議であるIEEE/CVF Computer Vision and Pattern Recognition（CVPR）2022に採択されたほか、画像の認識・理解シンポジウム2022において招待講演に招かれた。さらに、アルゴリズムの改善による高画質化についても、画像符号化・映像メディア処理シンポジウム（PCSJ/IMPS）にてベストポスター賞を受賞するなど、高い評価を得ている。
開口面の符号化とイベントカメラの組み合わせについては、計算機シミュレーションによる原理確認のみならず、実機による実験にも着手することができ、進捗は順調である。
光線空間の表現形式についても、multiplane imageやneural radiance fieldを用いた形式について検討を進め、前者については論文誌掲載に至るなど、順調に成果を得ている。
|
| Strategy for Future Research Activity |
カメラのフレームレートを超える高速な光学制御を伴う撮像方式として、主に下記の2項目に取り組む。
まず、開口面と撮像面の同時符号化による動的光線空間の圧縮撮像について述べる。この方式については、2022年度までにアルゴリズムおよび ハードウェアの構築が一通り完成している。今後は、これらの成果をまとめて発表することに注力する。さらに、これまでの圧縮撮像の技術を拡張し、有限の視点数からなる多視点画像を復元するだけではなく、連続的な光線空間を復元できるようにする。具体的には、連続的な視点から自由視点映像を生成できるニューラルレンダリング技術との融合によりこの目的を実現する。
次に、開口面の符号化とイベントカメラを組み合わせる光線空間の撮像方式について述べる。2022年度には、静止した被写体(静的な光線空間 )を対象として、この撮像方式の原理を確認して有効性の感触を得た。また、実際のハードウェアを用いた実験にも着手した。今後は、 この取り組みを継続するとともに、得られた成果を学会等で発表し、フィードバックを得る。また、撮影対象を動きのある被写体(動的な光線 空間)に拡張した場合についても、原理および有効なアルゴリズムを検討する。アルゴリズムの検討においては、ハードウェア側の制約や学習用データセットの生成手法を考慮しつつ、実現可能な方法を探索する。
さらに、圧縮撮像の原理の根幹をなす光線空間の冗長性の解明、その冗長性と深く関わる光線空間の表現形式、およびカメラのフレームレートを超える情報センシング技術等、関連技術を広く探索し、上記の2項目以外への発展の可能性を探る。
|
Report
(1 results)
Research Products
(18 results)
