• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

視覚的障害物がキャンセルされた光線場を実空間中に創出する超多眼系構築技術の探索

研究課題

研究課題/領域番号 21K19809
研究種目

挑戦的研究(萌芽)

配分区分基金
審査区分 中区分61:人間情報学およびその関連分野
研究機関国立情報学研究所

研究代表者

児玉 和也  国立情報学研究所, コンテンツ科学研究系, 准教授 (80321579)

研究期間 (年度) 2021-07-09 – 2025-03-31
研究課題ステータス 交付 (2023年度)
配分額 *注記
6,370千円 (直接経費: 4,900千円、間接経費: 1,470千円)
2023年度: 1,690千円 (直接経費: 1,300千円、間接経費: 390千円)
2022年度: 1,820千円 (直接経費: 1,400千円、間接経費: 420千円)
2021年度: 2,860千円 (直接経費: 2,200千円、間接経費: 660千円)
キーワード3次元画像 / 光線 / 多眼 / 拡張現実感 / 立体映像
研究開始時の研究の概要

新たな立体感を実現するものとして、固定視点に制約される両眼の2方向だけでなく、複数人の同時観察を可能とするよう空間中を飛び交う光線群そのものの取得や再現を試みる、200眼の表示系、100眼の撮像系等の研究開発が進んでいる。

こうした超多眼の撮像・表示系を組み合わせ、柱や壁等の視覚的障害物の前後で光線情報を適切に伝搬させれば等価的にその「透明化」が達成され、非効率な実空間の有効活用が期待される。

本研究では、入出力間で柱の厚み等も考慮した膨大な光線情報の変換を実時間で行う手法を明らかにした上、超多眼系としての実証的検討のため撮像、表示ともに低コストな実装によるプロトタイプの構築までを探求する。

研究実績の概要

小劇場やライブハウスは狭小な雑居ビル等を再利用したものが多く、しばしば視覚的に障害となる柱などが存在するものの、その対策は前後に単一視点のカメラとモニタを設ける程度で、大きく臨場感と当該実空間の利用効率を損ねている。これに対し、超多眼の撮像系と表示系を組み合わせ、前後で<光線場>を適切に伝搬させれば等価的に「障害物の透明化」が達成される。この場合、入出力間で柱の厚み等も考慮した光線情報の変換が必要となるが、もともと直接に見えている実空間とも整合した高い臨場感を有する観察が、同時に多数の観客間でそれぞれ可能となる。本研究では、撮像系や表示系の歪みの補正も含め、膨大な光線情報に対し、こうした変換を実時間で行う手法を明らかにした上、超多眼系としての実証的検討のため、撮像および表示ともに低コストな実装によるプロトタイプの構築までを探求する。

今年度は、前年度に引き続き、以上に述べた研究目的の達成に向け、視覚的障害物の透明化を仮想的に実現する超多眼系を提案するにあたり、そのプロトタイプを簡易に構築するための表示系、撮像系の詳細な設計と、これら入出力系の効率的な協調法の導出に取り組んだ。とくに、超多眼撮像系の実装の高精度化、ならびに超多眼表示系の低コストで柔軟な構成法を検討した。

具体的には、まず前者において、ミラーアレイ上の鏡面群に従い単眼カメラ位置を推定する手法を検証、これを改善し実際に当該のカメラを理想的な位置に配置するため、その概形像のみから誤差の縮減を実現する制御法を導出した。この場合、取得される光線情報の精度が容易に保証されるため、表示系との協調が必要な超多眼プロトタイプの構築には好適である。あわせて、後者においても、必要となる取得光線情報の稠密補間が高速化できるよう、設計パラメータが柔軟に再構成可能な表示系をあらたに構築、その基本機能までを実証した。

現在までの達成度 (区分)
現在までの達成度 (区分)

3: やや遅れている

理由

超多眼の撮像・表示系を組み合わせ、柱や壁等の視覚的障害物の前後で光線情報を適切に伝搬させれば等価的にその「透明化」が達成され、非効率な実空間の有効活用が期待される。本研究では、入出力間で膨大な光線情報の変換を実時間で行う手法を明らかにした上、超多眼系としての実証的検討のため撮像、表示ともに低コストな実装によるプロトタイプの構築までを探求する。

実際、こうした研究課題に対し、令和3年度までに表示系の最適パラメータ等の理論的検証を進めることで、コロナ禍の制約された実験環境でも小規模に試行錯誤を繰り返し、撮像系を含め計画以上に超多眼プロトタイプ全体への要求が詳細に明確化された。当該年度の精緻な理論化に基づく超多眼系の柔軟な設計法は、令和4年度以降、当初計画に準じ本研究を推し進めるのに非常に効果的で、令和3年度後半に予定されながらコロナ禍拡大の影響もあり部材調達等が遅延がちとなった実システムへの展開に関し、早期に検証評価までを可能とした。これにより、令和4年度後半、当該年度予定であった、超多眼の撮像系から表示系への実時間光線場伝搬処理の検討に着手、短期間のうちに成果を上げるとともに、続く令和5年度を、その拡張と本来計画分である超多眼プロトタイプ実装に充てることができた。ただ一方、このように令和5年度も令和4年度に引き続き、年度全体で1年分を越える進捗を達成したものの、令和3年度分からのコロナ禍の影響に起因する遅延部分全体を解消するには至らず、とくにプロトタイプ全体の実証的検討を中心に当初予定を上回ることまでは出来なかった。

以上から、本研究課題の進捗は、現在までのところ「やや遅れている」と評価されるが、既に承認された令和6年度への期間延長を前提とすることで、今後も当初の計画に準じた展開が推進可能な状況であるといえる。

今後の研究の推進方策

今後は、既に承認された令和6年度への期間延長に基づき、令和5年度まで概ね各構成要素ごとに検討を進めてきた、提案する超多眼系のプロトタイプ構築に関し、これらを統合する全体の実装とその光線場伝搬の高品質化について中心的に取り組む予定である。

具体的には、まず、令和5年度に導出した、相対するミラーアレイの概形のみにより単眼カメラの理想的な配置を実現する制御法を実際に適用、取得光線情報の精度を保証しつつ、こうした仮想カメラアレイからGPU上への多視点映像入力の改善を図る。とくに、当該カメラをステージ上に固定するなどして配置制御し、ミラーアレイ上の鏡像群やステージに関する事前知識等によらず、所望の位置合わせが達成されるよう、本手法の体系化を行う。あわせて、こうしてGPU上に入力された光線情報の稠密補間が、効率的に高速化できるよう、同様に令和5年度に構築、その基本機能までを確認した、設計パラメータが柔軟に再構成可能な表示系を組み込み、超多眼プロトタイプ全体で整合した光線場伝搬、ならびにこれに基づく視覚的障害物の仮想的な透明化を実証していく。

また、撮像系のさらなる簡易化への要請に鑑み、既に承認された令和6年度への期間延長を最大限に生かし、上述したような超多眼のものを、画像情報に合わせ奥行情報が出力される一般的なRGB-Dカメラ等で代替する構成も検討する。この際、超多眼系として光線場伝搬品質を含め一定の互換性を保つため、RGB-D情報から光線情報への高速変換法を導出し、これを組み込むことで、そのまま研究課題である視覚的障害物の仮想的透明化へと展開、単に独立の機能を提供するのではなく、これにより本提案が採用する光線場伝搬の枠組の高い汎用性を、より深く実証することを目指す。

報告書

(3件)
  • 2023 実施状況報告書
  • 2022 実施状況報告書
  • 2021 実施状況報告書
  • 研究成果

    (21件)

すべて 2024 2023 2022 2021 その他

すべて 国際共同研究 (4件) 雑誌論文 (9件) (うち国際共著 5件、 査読あり 9件、 オープンアクセス 1件) 学会発表 (8件)

  • [国際共同研究] York University(カナダ)

    • 関連する報告書
      2023 実施状況報告書
  • [国際共同研究] York University(カナダ)

    • 関連する報告書
      2022 実施状況報告書
  • [国際共同研究] 天津財経大学(中国)

    • 関連する報告書
      2022 実施状況報告書
  • [国際共同研究] York University(カナダ)

    • 関連する報告書
      2021 実施状況報告書
  • [雑誌論文] Efficient graph learning for 4D light field image denoising based on data augmentation using single-view images2024

    • 著者名/発表者名
      Rino Yoshida, Kazuya Kodama, Gene Cheung, Takayuki Hamamoto
    • 雑誌名

      International Workshop on Advanced Image Technology

      巻: 2024(Poster A) ページ: 1-1

    • 関連する報告書
      2023 実施状況報告書
    • 査読あり / 国際共著
  • [雑誌論文] Filter Bank for Perfect Reconstruction of Light Field from Its Focal Stack2023

    • 著者名/発表者名
      Akira Kubota, Daiki Tamura, Asami Ito, Kazuya Kodama
    • 雑誌名

      IEICE Transactions on Information and Systems

      巻: E106.D 号: 10 ページ: 1650-1660

    • DOI

      10.1587/transinf.2023PCP0006

    • ISSN
      0916-8532, 1745-1361
    • 年月日
      2023-10-01
    • 関連する報告書
      2023 実施状況報告書
    • 査読あり
  • [雑誌論文] ミラーアレイを介した多視点撮像系における鏡像群を用いた単眼カメラの位置合わせの検討2023

    • 著者名/発表者名
      前田 峻輔, 児玉 和也, 浜本 隆之
    • 雑誌名

      3次元画像コンファレンス

      巻: 2023(P-1) ページ: 1-4

    • 関連する報告書
      2023 実施状況報告書
    • 査読あり
  • [雑誌論文] 色チャネルごとのグラフ学習に基づく4次元光線情報の雑音抑制2023

    • 著者名/発表者名
      吉田 莉乃, 児玉 和也, チョン ジーン, 浜本 隆之
    • 雑誌名

      3次元画像コンファレンス

      巻: 2023(P-2) ページ: 1-4

    • 関連する報告書
      2023 実施状況報告書
    • 査読あり / 国際共著
  • [雑誌論文] Robust extension of light fields with probable 3D distribution based on iterative scene estimation from multi-focus images2023

    • 著者名/発表者名
      Zhen Wang, Lan Huang, Kazuya Kodama
    • 雑誌名

      Signal Processing: Image Communication

      巻: 111(116896) ページ: 1-13

    • DOI

      10.1016/j.image.2022.116896

    • 関連する報告書
      2022 実施状況報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Dense view interpolation of 4D light fields for real-time augmented reality applications2022

    • 著者名/発表者名
      Hidemichi Yoshino, Kazuya Kodama, Takayuki Hamamoto
    • 雑誌名

      APSIPA Annual Summit and Conference

      巻: 2022 ページ: 1626-1631

    • DOI

      10.23919/apsipaasc55919.2022.9979976

    • 関連する報告書
      2022 実施状況報告書
    • 査読あり
  • [雑誌論文] Unrolling Graph Total Variation for Light Field Image Denoising2022

    • 著者名/発表者名
      Rino Yoshida, Kazuya Kodama, Huy Vu, Gene Cheung, Takayuki Hamamoto
    • 雑誌名

      IEEE International Conference on Image Processing

      巻: 2022 ページ: 2162-2166

    • DOI

      10.1109/icip46576.2022.9897244

    • 関連する報告書
      2022 実施状況報告書
    • 査読あり / 国際共著
  • [雑誌論文] 単視点から多視点へのデータ拡張に基づく4 次元光線情報のグラフ学習型雑音抑制の効率化の検討2022

    • 著者名/発表者名
      吉田 莉乃, 児玉 和也, ヴュー フイ, チョン ジーン, 浜本 隆之
    • 雑誌名

      3次元画像コンファレンス

      巻: 2022(P-5) ページ: 1-4

    • 関連する報告書
      2022 実施状況報告書
    • 査読あり / 国際共著
  • [雑誌論文] A study on 5-D light field compression using multi-focus images2022

    • 著者名/発表者名
      Shuho Umebayashi, Kazuya Kodama, Takayuki Hamamoto
    • 雑誌名

      SPIE 2022 International Workshop on Advanced Image Technology

      巻: 3B2 ページ: 1-6

    • 関連する報告書
      2021 実施状況報告書
    • 査読あり
  • [学会発表] 障害物の透明化に向けた裸眼立体表示系の簡易な構成の検討2024

    • 著者名/発表者名
      渡辺 哲生, 児玉 和也, 浜本 隆之
    • 学会等名
      電子情報通信学会総合大会, D-11A-17, 1-1
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] ミラーアレイを介した多視点撮像系における鏡像群を用いた単眼カメラ位置推定の検討2023

    • 著者名/発表者名
      前田 峻輔, 児玉 和也, 浜本 隆之
    • 学会等名
      画像符号化/映像メディア処理シンポジウム(PCSJ/IMPS 2023), P2-08, 60-61
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] 4次元光線情報のグラフ学習型雑雑音抑制における復元パッチ間の加重平均の検討2023

    • 著者名/発表者名
      吉田 莉乃, 児玉 和也, チョン ジーン, 浜本 隆之
    • 学会等名
      画像符号化/映像メディア処理シンポジウム(PCSJ/IMPS 2023), P4-01, 108-109
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] リアルタイム光線伝搬の簡易実装に向けた稠密視点補間の効率化と超多眼出力系への展開2022

    • 著者名/発表者名
      吉野 秀道, 児玉 和也, 浜本 隆之
    • 学会等名
      画像符号化/映像メディア処理シンポジウム(PCSJ/IMPS 2022)
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] 画素単位で重みを調整する忠実項を組み込んだグラフ学習に基づく4 次元光線情報の高精度雑音抑制2022

    • 著者名/発表者名
      吉田 莉乃, 児玉 和也, チョン ジーン, 浜本 隆之
    • 学会等名
      画像符号化/映像メディア処理シンポジウム(PCSJ/IMPS 2022)
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] 疎な4次元光線情報の奥行き分布に応じた稠密補間処理の効率化2022

    • 著者名/発表者名
      吉野 秀道, 児玉 和也, 浜本 隆之
    • 学会等名
      電子情報通信学会 画像工学研究会, 信学技報, IE2021-27
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] グラフ学習に基づく光線空間上の雑音除去の検討2021

    • 著者名/発表者名
      吉田 莉乃, 児玉 和也, ヴュー フイ, チョン ジーン, 浜本 隆之
    • 学会等名
      電子情報通信学会 画像工学研究会, 信学技報, IE2021-21
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] 疎な4 次元光線情報の奥行き分布に応じた稠密補間処理の効率化の検討2021

    • 著者名/発表者名
      吉野 秀道, 児玉 和也, 浜本 隆之
    • 学会等名
      画像符号化/映像メディア処理シンポジウム(PCSJ/IMPS 2021)
    • 関連する報告書
      2021 実施状況報告書

URL: 

公開日: 2021-07-13   更新日: 2024-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi