2021 Fiscal Year Research-status Report
視覚的障害物がキャンセルされた光線場を実空間中に創出する超多眼系構築技術の探索
| Project/Area Number |
21K19809
|
|---|
| Research Institution | National Institute of Informatics |
|---|
Principal Investigator |
児玉 和也 国立情報学研究所, コンテンツ科学研究系, 准教授 (80321579)
|
|---|
| Project Period (FY) |
2021-07-09 – 2024-03-31
|
| Keywords | 3次元画像 / 光線 / 多眼 / 拡張現実感 / 立体映像 |
|---|
| Outline of Annual Research Achievements |
小劇場やライブハウスは狭小な雑居ビル等を再利用したものが多く、しばしば視覚的に障害となる柱などが存在するものの、その対策は前後に単一視点のカメラとモニタを設ける程度で、大きく臨場感と当該実空間の利用効率を損ねている。これに対し、超多眼の撮像系と表示系を組み合わせ、前後で＜光線場＞を適切に伝搬させれば等価的に「障害物の透明化」が達成される。この場合、入出力間で柱の厚み等も考慮した光線情報の変換が必要となるが、もともと直接に見えている実空間とも整合した高い臨場感を有する観察が、同時に多数の観客間でそれぞれ可能となる。本研究では、撮像系や表示系の歪みの補正も含め、膨大な光線情報に対し、こうした変換を実時間で行う手法を明らかにした上、超多眼系としての実証的検討のため、撮像および表示ともに低コストな実装によるプロトタイプの構築までを探求する。
本年度は、以上に述べた研究目的の達成に向け、視覚的障害物の透明化を仮想的に実現する超多眼系を提案するにあたり、そのプロトタイプを簡易に構築するための表示系、撮像系の詳細な設計にそれぞれ取り組んだ。とくに、超多眼表示系の柔軟な構成法の検討と、これを前提とした場合における超多眼撮像系への要求の明確化を行った。
具体的には、まず、タブレット等の表示端末に限定されることなく超多眼表示系を様々な条件のもとで構成、検証するため、3Dプリンタを用い立体出力された光学的な格子を組み込む手法を検討した。こうした場合、レンズアレイに比し光量は制約されるものの、その設計に固定されることなく、超多眼プロトタイプへの要求が幅広く検証可能となる。実際、あらたに単眼とミラー群による仮想的な超多眼撮像系が取得する光線情報量の最大化を前提に、静止画単位ではあるものの稠密光線場伝搬の実時間性を確認した。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
超多眼の撮像・表示系を組み合わせ、柱や壁等の視覚的障害物の前後で光線情報を適切に伝搬させれば等価的にその「透明化」が達成され、非効率な実空間の有効活用が期待される。本研究では、入出力間で柱の厚み等も考慮した膨大な光線情報の変換を実時間で行う手法を明らかにした上、超多眼系としての実証的検討のため撮像、表示ともに低コストな実装によるプロトタイプの構築までを探求する。具体的には、単眼とミラー群を組み合わせた簡易な超多眼撮像系や、一般的な表示系の簡便かつ柔軟な超多眼化を提案、適宜、当該プロトタイプへの組み込みを進めて行く。
実際、こうした研究課題に対し、本年度までに、まず、3Dプリンタにより積層された光学格子を用いた表示系の超多眼化を提案、当該格子の最適パラメータ等の理論的検証を進めた。本方式によれば、コロナ禍の制約された実験環境でも、小規模に試行錯誤を繰り返し、超多眼プロトタイプ全体への要求を詳細に明確化できる。また、本表示系を前提に、あわせて、超多眼撮像系として取得できる光線情報を最大化するため、単眼とミラー群の組み合わせが与える光線場の稠密度を理論的に導く取り組みも進めた。一方、こうした超多眼系の設計に関わる理論面の成果に基づき、年度後半に進める予定であった実システムへの展開に関しては、新型コロナウイルス感染症拡大の影響もあり、部材の選定調達やシステムへの組み込み、プロトタイプとしての検証評価が遅延がちとなった。同時期、これにかえて進めた上述の精緻な理論化では、研究計画以上の成果を得ており、今後の展開をより効率的にするものと考えられるが、もともと進めるはずであった実証的検討としては当初予定を上回ることは出来なかった。
以上から、本研究課題の進捗は、現在までのところ、「やや遅れている」ものの、今後に向けた展開により当初の計画に準じ推進可能な状況であるといえる。
|
| Strategy for Future Research Activity |
今後は、令和３年度に進めた理論的な検討に基づく最適な設計のもと、提案する超多眼系の実装を中心に取り組む。既に計画以上の進捗が得られている、こうした柔軟な設計法によれば、やや遅れていた実システムも効率良く構成され、当初計画に準じ本研究を推し進めて行くことが可能となる。
具体的には、まず、簡易で設計変更が柔軟な超多眼表示系の構築評価と、撮像系との協調条件の明確化を行う。例えば、実際に、タブレット端末から大型モニタまで様々な表示系に応じ超多眼化を施すことで、出力される光線情報量の広範な評価を可能とし、これにより、撮像系側の視点の稠密性およびその補間処理の品質など、多様な協調条件を明らかにしていく。また、入力可能な光線情報を最大化するよう、あらたに設計を行って来た撮像系についても、理想的な鏡面加工を施したミラーアレイにグローバルシャッタ方式の単眼を適切に対置させることで、早期の段階から実システムに組み込んで行く。単眼上に直接集約された、こうした仮想的な多視点撮影は、視覚的障害物の前後で光線場を伝搬させる実時間プロトタイプとしての検討を飛躍的に効率化する。
続いて、超多眼の撮像系と表示系の間で、各視点の映像を統合変換し遅延なく表示系へと伝送するため、GPU上での高速実装に適した、光線場の再構成法を導出する。とくに、光線情報の高品質な補間処理で必要となる奥行き推定について、そのリアルタイム性を考慮しながら、多次元上の光線群全体に適用、反映するアルゴリズムの提案を行う。その後、これらを実際に統合することで、様々な視覚的障害物の仮想的な透明化を実現する超多眼系プロトタイプの実証的検討を進めて行く。
|
| Causes of Carryover |
研究の開始当初は、まず計画どおり、視覚的障害物の前後で光線場を伝搬させ、その仮想的透明化を実現するため、光線情報の入出力を担う超多眼の撮像系と表示系の検討に着手した。コロナ禍の制約された実験環境でも、小規模に試行錯誤を繰り返すことが可能となるよう、とくに後者については、一般的なレンズアレイに代えて、3Dプリンタにより積層された光学格子を用いた表示系の超多眼化を提案、当該格子の最適パラメータ等の理論的検証を進めた。一方、こうした超多眼系の設計に関わる理論面の成果に基づき、年度後半に進める予定であった実システムへの展開に関しては、想定以上の新型コロナウイルス感染症拡大の影響もあり、部材の選定調達やシステムへの組み込み、プロトタイプとしての検証評価が遅延がちとなって、物品費、実験に伴う謝金、成果発表のための旅費など全般にわたり、次年度使用額が生じることは不可避であった。
ただ、同時期に進めた精緻な理論化では、研究計画以上の成果を得ており、これに基づき今後の実証的検討はより効率的に進めることが可能となっている。実際、次年度使用額は、もともと本年度に取り組む予定であった実システムへの展開に充て、早期に検証評価までを推し進める。また、引き続き、超多眼の撮像系と表示系の協調についても、同様の効率的検証が容易となることから、そのまま翌年度分の助成金を執行、当初の計画に準じ検討を進めて行く。
|
Research Products
(5 results)
