視覚的障害物がキャンセルされた光線場を実空間中に創出する超多眼系構築技術の探索
| Project/Area Number |
21K19809
|
|---|
| Research Category |
Grant-in-Aid for Challenging Research (Exploratory)
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Medium-sized Section 61:Human informatics and related fields
|
|---|
| Research Institution | National Institute of Informatics |
|---|
Principal Investigator |
児玉 和也 国立情報学研究所, コンテンツ科学研究系, 准教授 (80321579)
|
|---|
| Project Period (FY) |
2021-07-09 – 2024-03-31
|
| Project Status |
Granted (Fiscal Year 2022)
|
| Budget Amount *help |
¥6,370,000 (Direct Cost: ¥4,900,000、Indirect Cost: ¥1,470,000)
Fiscal Year 2023: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
Fiscal Year 2022: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
Fiscal Year 2021: ¥2,860,000 (Direct Cost: ¥2,200,000、Indirect Cost: ¥660,000)
|
|---|
| Keywords | 3次元画像 / 光線 / 多眼 / 拡張現実感 / 立体映像 |
|---|
| Outline of Research at the Start |
新たな立体感を実現するものとして、固定視点に制約される両眼の2方向だけでなく、複数人の同時観察を可能とするよう空間中を飛び交う光線群そのものの取得や再現を試みる、200眼の表示系、100眼の撮像系等の研究開発が進んでいる。
こうした超多眼の撮像・表示系を組み合わせ、柱や壁等の視覚的障害物の前後で光線情報を適切に伝搬させれば等価的にその「透明化」が達成され、非効率な実空間の有効活用が期待される。
本研究では、入出力間で柱の厚み等も考慮した膨大な光線情報の変換を実時間で行う手法を明らかにした上、超多眼系としての実証的検討のため撮像、表示ともに低コストな実装によるプロトタイプの構築までを探求する。
|
| Outline of Annual Research Achievements |
小劇場やライブハウスは狭小な雑居ビル等を再利用したものが多く、しばしば視覚的に障害となる柱などが存在するものの、その対策は前後に単一視点のカメラとモニタを設ける程度で、大きく臨場感と当該実空間の利用効率を損ねている。これに対し、超多眼の撮像系と表示系を組み合わせ、前後で＜光線場＞を適切に伝搬させれば等価的に「障害物の透明化」が達成される。この場合、入出力間で柱の厚み等も考慮した光線情報の変換が必要となるが、もともと直接に見えている実空間とも整合した高い臨場感を有する観察が、同時に多数の観客間でそれぞれ可能となる。本研究では、撮像系や表示系の歪みの補正も含め、膨大な光線情報に対し、こうした変換を実時間で行う手法を明らかにした上、超多眼系としての実証的検討のため、撮像および表示ともに低コストな実装によるプロトタイプの構築までを探求する。
今年度は、前年度に引き続き、以上に述べた研究目的の達成に向け、視覚的障害物の透明化を仮想的に実現する超多眼系を提案するにあたり、そのプロトタイプを簡易に構築するための表示系、撮像系の詳細な設計と、これら入出力系の効率的な協調法の導出に取り組んだ。とくに、超多眼撮像系の高精度な構成法の検討と、これを前提に各視点の映像を統合変換し遅延なく表示系へと伝送する実時間光線場伝搬処理の提案を行った。
具体的には、前者で明らかとなった、理想的な鏡面加工を施したミラーアレイに向けグローバルシャッタ方式の単眼を適切に配置した場合に取得される光線場に対し、後者のとおりGPU上での高速実装に適した再構成法を提案、光線情報の高品質な補間処理で必要となる奥行き推定を多次元上の光線群全体に適用、反映するアルゴリズムを導き、そのリアルタイム性の実証までを行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
超多眼の撮像・表示系を組み合わせ、柱や壁等の視覚的障害物の前後で光線情報を適切に伝搬させれば等価的にその「透明化」が達成され、非効率な実空間の有効活用が期待される。本研究では、入出力間で膨大な光線情報の変換を実時間で行う手法を明らかにした上、超多眼系としての実証的検討のため撮像、表示ともに低コストな実装によるプロトタイプの構築までを探求する。具体的には、単眼とミラー群を組み合わせた簡易な超多眼撮像系や、一般的な表示系の簡便かつ柔軟な超多眼化を提案、適宜、当該プロトタイプへの組み込みを進める。
実際、こうした研究課題に対し、令和３年度までに簡易な表示系の提案やその最適パラメータ等の理論的検証を進めることで、コロナ禍の制約された実験環境でも小規模に試行錯誤を繰り返し、撮像系を含め超多眼プロトタイプ全体への要求が詳細に明確化された。当該年度の精緻な理論化に基づく超多眼系の柔軟な設計法は、令和４年度、当初計画に準じ本研究を推し進めるのに非常に効果的で、令和３年度後半に予定されながらコロナ禍拡大の影響もあり部材調達等が遅延がちとなった実システムへの展開に関し、早期に検証評価までを可能とした。これにより、令和４年度後半はさらに、当初から当該年度予定であった、超多眼の撮像系から表示系への実時間光線場伝搬処理の検討にも踏み込み、令和３年度に整備した理論的基盤をここでも活かすことで、短期間ながら国際会議での発表、受賞につながる一定の成果を得た。一方、令和４年度もコロナ禍が延長した影響から、年度全体で1年分を越える進捗を達成したものの、やはり令和３年度分からの遅延全体を解消するには至らず、とくに実証的検討を中心に当初予定を上回ることまでは出来なかった。
以上から、本研究課題の進捗は、現在までのところ「やや遅れている」ものの、今後に向けた展開により当初の計画に準じ推進可能な状況であるといえる。
|
| Strategy for Future Research Activity |
今後は、令和４年度までに各構成要素ごとに検討を進めてきた、提案する超多眼系のプロトタイプ構築に関し、これらを統合する全体の実装と当該プロトタイプの様々な拡張を中心に取り組む予定である。
具体的には、まず、ミラーアレイの接する放物面の焦点に対し単眼カメラを配置する撮像系の高精度かつ簡易な構成法を整備の上、リアルタイムで表示系へその取得光線情報を伝搬させる超多眼系全体の構築を実際に行う。この際、本システムによる視覚的障害物の仮想的透明化を実証するにあたり、もっとも単純な撮像系と表示系が正対した場合を最初に実装し、以降で、より柔軟に撮像と表示が協調する超多眼系への拡張を検討する。例えば、多様な視覚的障害物に対応するため、撮像系と表示系の光軸が直交する場合など、一般化された超多眼系への展開を図る。そのため、既に導出した光線場の実時間伝搬処理も適切な拡張を行い、各視点の映像を統合変換し遅延なく表示系へと伝送する光線場変換の一般化とその高速実装を詳細に議論する。
こうした任意の光線場伝搬の想定に加え、仮想的に透明化された視覚的障害物の内部または後方に他の光線情報を合成する機能拡張を前提とすれば、リアルタイム性を維持するため軽量ながらも、十分に安定な奥行き推定を組み込むことが必須となる。とくに、既に検討した単純な光線場変換の段階でも、GPU上での高速実装に適したアルゴリズムとして、奥行き推定はもちろん補間処理まで含め、一切の繁雑な処理を排したものが求められる。整列された多次元上の光線群全体を高品質に補間、再構成すると同時に、一定の精度でその奥行き情報までも出力可能とする、より洗練、一般化された光線場変換のリアルタイム実装を展開、これを基盤に、様々な視覚的障害物の仮想的な透明化を実現する超多眼系プロトタイプの実証的検討を進めて行く。
|
Report
(2 results)
Research Products
(13 results)
