| Project/Area Number |
21K19809
|
|---|
| Research Category |
Grant-in-Aid for Challenging Research (Exploratory)
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Medium-sized Section 61:Human informatics and related fields
|
|---|
| Research Institution | National Institute of Informatics |
|---|
Principal Investigator |
児玉 和也 国立情報学研究所, コンテンツ科学研究系, 准教授 (80321579)
|
|---|
| Project Period (FY) |
2021-07-09 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥6,370,000 (Direct Cost: ¥4,900,000、Indirect Cost: ¥1,470,000)
Fiscal Year 2023: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
Fiscal Year 2022: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
Fiscal Year 2021: ¥2,860,000 (Direct Cost: ¥2,200,000、Indirect Cost: ¥660,000)
|
|---|
| Keywords | 3次元画像 / 光線 / 多眼 / 拡張現実感 / 立体映像 |
|---|
| Outline of Research at the Start |
新たな立体感を実現するものとして、固定視点に制約される両眼の2方向だけでなく、複数人の同時観察を可能とするよう空間中を飛び交う光線群そのものの取得や再現を試みる、200眼の表示系、100眼の撮像系等の研究開発が進んでいる。
こうした超多眼の撮像・表示系を組み合わせ、柱や壁等の視覚的障害物の前後で光線情報を適切に伝搬させれば等価的にその「透明化」が達成され、非効率な実空間の有効活用が期待される。
本研究では、入出力間で柱の厚み等も考慮した膨大な光線情報の変換を実時間で行う手法を明らかにした上、超多眼系としての実証的検討のため撮像、表示ともに低コストな実装によるプロトタイプの構築までを探求する。
|
| Outline of Annual Research Achievements |
小劇場やライブハウスは狭小な雑居ビル等を再利用したものが多く、しばしば視覚的に障害となる柱などが存在するものの、その対策は前後に単一視点のカメラとモニタを設ける程度で、大きく臨場感と当該実空間の利用効率を損ねている。これに対し、超多眼の撮像系と表示系を組み合わせ、前後で＜光線場＞を適切に伝搬させれば等価的に「障害物の透明化」が達成される。この場合、入出力間で柱の厚み等も考慮した光線情報の変換が必要となるが、もともと直接に見えている実空間とも整合した高い臨場感を有する観察が、同時に多数の観客間でそれぞれ可能となる。本研究では、撮像系や表示系の歪みの補正も含め、膨大な光線情報に対し、こうした変換を実時間で行う手法を明らかにした上、超多眼系としての実証的検討のため、撮像および表示ともに低コストな実装によるプロトタイプの構築までを探求する。
今年度は、前年度に引き続き、以上に述べた研究目的の達成に向け、視覚的障害物の透明化を仮想的に実現する超多眼系を提案するにあたり、そのプロトタイプを簡易に構築するための表示系、撮像系の詳細な設計と、これら入出力系の効率的な協調法の導出に取り組んだ。とくに、超多眼撮像系の実装の高精度化、ならびに超多眼表示系の低コストで柔軟な構成法を検討した。
具体的には、まず前者において、ミラーアレイ上の鏡面群に従い単眼カメラ位置を推定する手法を検証、これを改善し実際に当該のカメラを理想的な位置に配置するため、その概形像のみから誤差の縮減を実現する制御法を導出した。この場合、取得される光線情報の精度が容易に保証されるため、表示系との協調が必要な超多眼プロトタイプの構築には好適である。あわせて、後者においても、必要となる取得光線情報の稠密補間が高速化できるよう、設計パラメータが柔軟に再構成可能な表示系をあらたに構築、その基本機能までを実証した。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
超多眼の撮像・表示系を組み合わせ、柱や壁等の視覚的障害物の前後で光線情報を適切に伝搬させれば等価的にその「透明化」が達成され、非効率な実空間の有効活用が期待される。本研究では、入出力間で膨大な光線情報の変換を実時間で行う手法を明らかにした上、超多眼系としての実証的検討のため撮像、表示ともに低コストな実装によるプロトタイプの構築までを探求する。
実際、こうした研究課題に対し、令和３年度までに表示系の最適パラメータ等の理論的検証を進めることで、コロナ禍の制約された実験環境でも小規模に試行錯誤を繰り返し、撮像系を含め計画以上に超多眼プロトタイプ全体への要求が詳細に明確化された。当該年度の精緻な理論化に基づく超多眼系の柔軟な設計法は、令和４年度以降、当初計画に準じ本研究を推し進めるのに非常に効果的で、令和３年度後半に予定されながらコロナ禍拡大の影響もあり部材調達等が遅延がちとなった実システムへの展開に関し、早期に検証評価までを可能とした。これにより、令和４年度後半、当該年度予定であった、超多眼の撮像系から表示系への実時間光線場伝搬処理の検討に着手、短期間のうちに成果を上げるとともに、続く令和５年度を、その拡張と本来計画分である超多眼プロトタイプ実装に充てることができた。ただ一方、このように令和５年度も令和４年度に引き続き、年度全体で１年分を越える進捗を達成したものの、令和３年度分からのコロナ禍の影響に起因する遅延部分全体を解消するには至らず、とくにプロトタイプ全体の実証的検討を中心に当初予定を上回ることまでは出来なかった。
以上から、本研究課題の進捗は、現在までのところ「やや遅れている」と評価されるが、既に承認された令和６年度への期間延長を前提とすることで、今後も当初の計画に準じた展開が推進可能な状況であるといえる。
|
| Strategy for Future Research Activity |
今後は、既に承認された令和６年度への期間延長に基づき、令和５年度まで概ね各構成要素ごとに検討を進めてきた、提案する超多眼系のプロトタイプ構築に関し、これらを統合する全体の実装とその光線場伝搬の高品質化について中心的に取り組む予定である。
具体的には、まず、令和５年度に導出した、相対するミラーアレイの概形のみにより単眼カメラの理想的な配置を実現する制御法を実際に適用、取得光線情報の精度を保証しつつ、こうした仮想カメラアレイからGPU上への多視点映像入力の改善を図る。とくに、当該カメラをステージ上に固定するなどして配置制御し、ミラーアレイ上の鏡像群やステージに関する事前知識等によらず、所望の位置合わせが達成されるよう、本手法の体系化を行う。あわせて、こうしてGPU上に入力された光線情報の稠密補間が、効率的に高速化できるよう、同様に令和５年度に構築、その基本機能までを確認した、設計パラメータが柔軟に再構成可能な表示系を組み込み、超多眼プロトタイプ全体で整合した光線場伝搬、ならびにこれに基づく視覚的障害物の仮想的な透明化を実証していく。
また、撮像系のさらなる簡易化への要請に鑑み、既に承認された令和６年度への期間延長を最大限に生かし、上述したような超多眼のものを、画像情報に合わせ奥行情報が出力される一般的なRGB-Dカメラ等で代替する構成も検討する。この際、超多眼系として光線場伝搬品質を含め一定の互換性を保つため、RGB-D情報から光線情報への高速変換法を導出し、これを組み込むことで、そのまま研究課題である視覚的障害物の仮想的透明化へと展開、単に独立の機能を提供するのではなく、これにより本提案が採用する光線場伝搬の枠組の高い汎用性を、より深く実証することを目指す。
|
