| Project/Area Number |
23K24875
|
|---|
| Project/Area Number (Other) |
22H03619 (2022-2023)
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Multi-year Fund (2024)
Single-year Grants (2022-2023) |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61010:Perceptual information processing-related
|
|---|
| Research Institution | Osaka Institute of Technology |
|---|
Principal Investigator |
河北 真宏 大阪工業大学, 情報科学部, 教授 (40599734)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
山本 裕紹 宇都宮大学, 工学部, 教授 (00284315)
藤井 俊彰 名古屋大学, 工学研究科, 教授 (30273262)
河合 紀彦 大阪工業大学, 情報科学部, 准教授 (30610670)
村木 祐太 大阪工業大学, 情報科学部, 講師 (60710077)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2024)
|
| Budget Amount *help |
¥17,680,000 (Direct Cost: ¥13,600,000、Indirect Cost: ¥4,080,000)
Fiscal Year 2024: ¥3,250,000 (Direct Cost: ¥2,500,000、Indirect Cost: ¥750,000)
Fiscal Year 2023: ¥3,770,000 (Direct Cost: ¥2,900,000、Indirect Cost: ¥870,000)
Fiscal Year 2022: ¥10,660,000 (Direct Cost: ¥8,200,000、Indirect Cost: ¥2,460,000)
|
|---|
| Keywords | 3次元映像 / ライトフィールド / 空中像 / 3次元ディスプレイ / 3Dモデル / ３次元映像 / ３次元ディスプレイ / ３Dモデル |
|---|
| Outline of Research at the Start |
本研究では、撮影対象の3次元物体から発せられる光線情報を広い角度範囲で取得できる簡易なライトフィールドカメラを開発する。3次元物体を光学プレートで空中像として結像し、レンズアレイを介して単一カメラで撮影する手法を提案する。本方式により、従来技術の30倍以上の角度（30度以上の視域角度）範囲で光線情報を取得することを目標とする。また、得られた光線情報をもとに、3次元映像のリアルタイム撮影・表示や3次元映像表示の広視域化、リアルな3Dモデルの生成とAR/VR映像への応用など、高度な3次元映像技術を実現する。
|
| Outline of Annual Research Achievements |
本研究の目的は、ライトフィールド（LF）技術の進化により、光線情報が持つ3次元情報を効果的に活用し、新しい映像研究の流れを創造することである。本研究では、3次元物体を空中像として結像してレンズアレイを介して撮影することで、単一カメラによる撮影でも30度以上の広い角度範囲で光線情報を得ることができるLFカメラを開発する。また、その光線情報をもとに、3次元映像のリアルタイム撮影・表示や広視域表示、リアルな3Dモデル生成やAR/VR映像への応用など、高度な映像技術の実現を目指す。
研究項目(A)「広視域ライトフィールドカメラの開発」では、前年度に最適設計して試作したレンズアレイを用いて実験を行い、撮影性能を測定評価した。実験装置では、被写体の空中像を再帰性反射光学素子である2面コーナリフレクターにより形成し、その像結像位置にレンズアレイを設置してカメラにより要素映像を撮影した。実験において被写体からの光線の取得角度を求めた結果、水平31.2度、垂直30.3度が得られた。これは従来技術の10倍以上の角度であり、本研究の目標値である取得角度30度以上を実現できた。
研究項目(B)「3次元映像表示の高機能化」については、撮像系とインテグラル3D表示系に新規レンズアレイと８K映像技術を適用した撮影・表示実験系を試作した。その結果、横395㎜、縦698㎜の大きさの被写体の撮影が可能となり、その要素映像を用いることで約12万画素のインテグラル３D映像を表示できた。また、本撮影・表示方式により、裸眼3次元映像を用いた双方向コミュニケーションが可能であることも実証した。
研究項目(C)「3次元モデリングとAR/VRへの応用」では、実験で得られた要素映像に対して幾何学補正を行い、要素映像を正確に抽出する処理技術を開発した。これにより得られた要素画像から、任意視点映像などが生成できることを実証した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
研究項目(A)「広視域ライトフィールドカメラの開発」では、当初の計画通り、最適設計したレンズアレイを用いた撮影・表示実験を実施した。測定の結果、光線情報の取得角度30度以上が得られ、本研究の撮影角度の目標値を達成できた。研究項目(B)「3次元映像表示の高機能化」(B-1)「リアルタイム表示」に関しては、最適設計した試作レンズアレイを用いるとともに、高精細８K映像のカメラやディスプレイを用いた実験を実施した。これにより、インテグラル３D映像（画素数：約12万画素、水平・垂直視域角度：30度以上）のリアルタイム撮影・表示が可能であることを実証して目標を達成した。さらにこの特徴を活かした裸眼３次元映像による遠隔地間の双方向コミュニケーションシステムを試作し、実験により応用の可能性を示した。研究項目(B-2)「3次元映像の広視域化」では、最適設計したレンズアレイを用いて広視域の評価用要素画像群を撮影し、積層型3ディスプレイへ表示するための映像処理方法の検討を進めた。2024年度はこれらの研究成果について、国内学会発表3件、国際会議発表2件、外国特許1件を出願した。また、リアルタイムの撮影・表示システムの実機を展示会(8月)や国際会議(12月)会場でデモ展示を行い成果をアピールした。
研究項目(C)「3次元モデリングとAR/VRへの応用」に関しては、レンズアレイを介して撮影した要素画像群の幾何学歪の補正方法を開発した。これにより、個々の要素画像の正確な抽出が可能となり、得られた要素画像群からAR・VR映像において利用できる任意視点映像の生成を可能とした。これらの研究成果は、国際会議1件(1月)、国内学会1件(3月)で発表するとともに、次年度開催の国際会議へ投稿を行い採択された。
|
| Strategy for Future Research Activity |
2023年度に、提案方式に最適設計したレンズアレイを用いた実験により、目標とする角度範囲30度以上の光線情報の取得を達成できた。2024年度は、撮影特性の改善として、空中映像のゴースト光低減や解像度特性の向上などに取り組む。具体的には、他の空中像結像方式の適用やレンズアレイ構造の改善、開口アレイの適用による奥行き取得範囲の拡大などを実施する。
また、積層型3次元映像を広視域化に向けて、要素画像からの表示用画像の生成と表示実験を進める。また、各種技術評価に使用できる評価用の広視域要素映像のテストシーケンス撮影も実施する。さらに、本撮影方法の応用開拓として、3次元形状計測やAR/VR応用、3次元映像によるリアルな映像表現などの実験を行う。
2024年度は、本研究課題の成果のアピールとして、国際会議（7月、12月）や国内学会（8月、12月)などで発表するとともに、研究成果をまとめて論文投稿を実施する。
|
