| 研究課題/領域番号 |
21K19809
|
|---|
| 研究機関 | 国立情報学研究所 |
|---|
研究代表者 |
児玉 和也 国立情報学研究所, コンテンツ科学研究系, 准教授 (80321579)
|
|---|
| 研究期間 (年度) |
2021-07-09 – 2024-03-31
|
| キーワード | 3次元画像 / 光線 / 多眼 / 拡張現実感 / 立体映像 |
|---|
| 研究実績の概要 |
小劇場やライブハウスは狭小な雑居ビル等を再利用したものが多く、しばしば視覚的に障害となる柱などが存在するものの、その対策は前後に単一視点のカメラとモニタを設ける程度で、大きく臨場感と当該実空間の利用効率を損ねている。これに対し、超多眼の撮像系と表示系を組み合わせ、前後で＜光線場＞を適切に伝搬させれば等価的に「障害物の透明化」が達成される。この場合、入出力間で柱の厚み等も考慮した光線情報の変換が必要となるが、もともと直接に見えている実空間とも整合した高い臨場感を有する観察が、同時に多数の観客間でそれぞれ可能となる。本研究では、撮像系や表示系の歪みの補正も含め、膨大な光線情報に対し、こうした変換を実時間で行う手法を明らかにした上、超多眼系としての実証的検討のため、撮像および表示ともに低コストな実装によるプロトタイプの構築までを探求する。
今年度は、前年度に引き続き、以上に述べた研究目的の達成に向け、視覚的障害物の透明化を仮想的に実現する超多眼系を提案するにあたり、そのプロトタイプを簡易に構築するための表示系、撮像系の詳細な設計と、これら入出力系の効率的な協調法の導出に取り組んだ。とくに、超多眼撮像系の高精度な構成法の検討と、これを前提に各視点の映像を統合変換し遅延なく表示系へと伝送する実時間光線場伝搬処理の提案を行った。
具体的には、前者で明らかとなった、理想的な鏡面加工を施したミラーアレイに向けグローバルシャッタ方式の単眼を適切に配置した場合に取得される光線場に対し、後者のとおりGPU上での高速実装に適した再構成法を提案、光線情報の高品質な補間処理で必要となる奥行き推定を多次元上の光線群全体に適用、反映するアルゴリズムを導き、そのリアルタイム性の実証までを行った。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
3: やや遅れている
理由
超多眼の撮像・表示系を組み合わせ、柱や壁等の視覚的障害物の前後で光線情報を適切に伝搬させれば等価的にその「透明化」が達成され、非効率な実空間の有効活用が期待される。本研究では、入出力間で膨大な光線情報の変換を実時間で行う手法を明らかにした上、超多眼系としての実証的検討のため撮像、表示ともに低コストな実装によるプロトタイプの構築までを探求する。具体的には、単眼とミラー群を組み合わせた簡易な超多眼撮像系や、一般的な表示系の簡便かつ柔軟な超多眼化を提案、適宜、当該プロトタイプへの組み込みを進める。
実際、こうした研究課題に対し、令和３年度までに簡易な表示系の提案やその最適パラメータ等の理論的検証を進めることで、コロナ禍の制約された実験環境でも小規模に試行錯誤を繰り返し、撮像系を含め超多眼プロトタイプ全体への要求が詳細に明確化された。当該年度の精緻な理論化に基づく超多眼系の柔軟な設計法は、令和４年度、当初計画に準じ本研究を推し進めるのに非常に効果的で、令和３年度後半に予定されながらコロナ禍拡大の影響もあり部材調達等が遅延がちとなった実システムへの展開に関し、早期に検証評価までを可能とした。これにより、令和４年度後半はさらに、当初から当該年度予定であった、超多眼の撮像系から表示系への実時間光線場伝搬処理の検討にも踏み込み、令和３年度に整備した理論的基盤をここでも活かすことで、短期間ながら国際会議での発表、受賞につながる一定の成果を得た。一方、令和４年度もコロナ禍が延長した影響から、年度全体で1年分を越える進捗を達成したものの、やはり令和３年度分からの遅延全体を解消するには至らず、とくに実証的検討を中心に当初予定を上回ることまでは出来なかった。
以上から、本研究課題の進捗は、現在までのところ「やや遅れている」ものの、今後に向けた展開により当初の計画に準じ推進可能な状況であるといえる。
|
| 今後の研究の推進方策 |
今後は、令和４年度までに各構成要素ごとに検討を進めてきた、提案する超多眼系のプロトタイプ構築に関し、これらを統合する全体の実装と当該プロトタイプの様々な拡張を中心に取り組む予定である。
具体的には、まず、ミラーアレイの接する放物面の焦点に対し単眼カメラを配置する撮像系の高精度かつ簡易な構成法を整備の上、リアルタイムで表示系へその取得光線情報を伝搬させる超多眼系全体の構築を実際に行う。この際、本システムによる視覚的障害物の仮想的透明化を実証するにあたり、もっとも単純な撮像系と表示系が正対した場合を最初に実装し、以降で、より柔軟に撮像と表示が協調する超多眼系への拡張を検討する。例えば、多様な視覚的障害物に対応するため、撮像系と表示系の光軸が直交する場合など、一般化された超多眼系への展開を図る。そのため、既に導出した光線場の実時間伝搬処理も適切な拡張を行い、各視点の映像を統合変換し遅延なく表示系へと伝送する光線場変換の一般化とその高速実装を詳細に議論する。
こうした任意の光線場伝搬の想定に加え、仮想的に透明化された視覚的障害物の内部または後方に他の光線情報を合成する機能拡張を前提とすれば、リアルタイム性を維持するため軽量ながらも、十分に安定な奥行き推定を組み込むことが必須となる。とくに、既に検討した単純な光線場変換の段階でも、GPU上での高速実装に適したアルゴリズムとして、奥行き推定はもちろん補間処理まで含め、一切の繁雑な処理を排したものが求められる。整列された多次元上の光線群全体を高品質に補間、再構成すると同時に、一定の精度でその奥行き情報までも出力可能とする、より洗練、一般化された光線場変換のリアルタイム実装を展開、これを基盤に、様々な視覚的障害物の仮想的な透明化を実現する超多眼系プロトタイプの実証的検討を進めて行く。
|
| 次年度使用額が生じた理由 |
令和３年度、研究の開始当初、コロナ禍の制約された実験環境でも小規模に試行錯誤を繰り返すことが可能となるよう理論的検証を進めていたが、当該年度後半に進める予定であった実システムへの展開に関しては、想定以上の新型コロナウイルス感染症拡大の影響もあり、部材の選定調達やシステムへの組み込み、プロトタイプとしての検証評価が遅延がちとなって、物品費、実験に伴う謝金、成果発表のための旅費など全般にわたり、令和４年度使用額が生じることが不可避となった。ただ、同時期に進めた精緻な理論化では、研究計画以上の成果を得ており、これに基づき令和４年度の実証的検討はより効率的に進めることが可能となったため、当該年度中のコロナ禍の延長にも関わらず、上述の令和４年度使用額は、もともと令和３年度に取り組む予定であった実システムへの展開や、さらに令和４年度の本来計画分にまで跨る光線場変換の検討にも充てることができた。
一方、令和３年度予定分の取り組み後のため、こうした令和４年度計画分もその全体までは進捗が及ばなかったこと、また、成果発表に際し国際会議等でオンライン開催やハイブリッド開催が継続したことから、再び次年度使用額の発生が不可避となった。これを令和４年度計画分の継続実施に充てるほか、令和５年度分の助成金もあわせ、本来計画分として超多眼系プロトタイプの全体実装やその拡張に執行、当初の計画に準じ検討を進めて行く。
|
