ハイブリッドなデータ構造に基づいた３次元再構築

• 研究課題/領域番号: 23K16906
• 研究種目: 若手研究
• 配分区分: 基金
• 審査区分: 小区分61010:知覚情報処理関連
• 研究機関: 東京工科大学
• 研究代表者: 盧 承鐸 東京工科大学, メディア学部, 助教 (50965431)
• 研究期間 (年度): 2023-04-01 – 2026-03-31
• 研究課題ステータス: 交付 (2023年度)
• 配分額: 4,550千円 (直接経費: 3,500千円、間接経費: 1,050千円); 2025年度: 1,300千円 (直接経費: 1,000千円、間接経費: 300千円); 2024年度: 1,170千円 (直接経費: 900千円、間接経費: 270千円); 2023年度: 2,080千円 (直接経費: 1,600千円、間接経費: 480千円)
• キーワード: ３次元再構築 / エルミート放射基底 / ニューラル表現

研究開始時の研究の概要

近年，ニューラルネットワークによる表現で３次元物体を高次元の陰関数表現として再構築する技術は，既存のボクセル構造による力潰し的なアプローチでは実現できなかった高品質な３次元モデル化を可能にしている．しかし，この手法は既存のCG(コンピュータグラフィックス)パイプラインとの親和性や，編集・変形と言った後処理作業はあまり考慮していないため活用が難しい．
本研究ではCGでの編集や変形を考慮した，HRBF(エルミート放射基底関数)とニューラル表現のハイブリッドなデータ表現法を模索する．その新しいデータ構造によって，より軽量・柔軟でありながらも高品質で実写に充実な３次元コンテンツの生成が期待できる．

研究実績の概要

１年目の研究では，スキャンされた全体シーンから対象物体の分離を支援するユーザインタフェースの開発と，その振る舞いに伴い，スキャン時の不可視領域に対する形状及び物体テクスチャを修復する手法を設計し開発を行った．ユーザインタフェースはプロトタイプとしての機能が確認できるレベルに留めている．
開発されたプロトタイプでは，スキャンデータを法線付き点群として保存し，物体形状の表現にエルミート放射基底関数(HRBR)を用いている．対象物体を分離するには，ユーザインタフェースを通じて物体を構成する点群をバウンディングボックスで指定することでフィルタリングする．形状表現に用いているHRBFの特性上，小さい範囲の修復は自動的に行われるものであるが，開発プロトタイプでは分離された物体の点群に補助的に点を入れることで大規模の範囲修復にも対応できるようにしている．
一方，物体表面のテクスチャの表現と修復手法に関しては進捗が遅れているため，引き続き手法設計の再検討及び開発を進める必要がある．テクスチャの再構築に関しては既存のテクスチャマッピング，もしくはニューラルラディアンスフィールド(NeRF)などの近年のニューラル表現と言った方法が適用できる．しかし，既存手法は可視面の再構築にのみ注目しており，本研究で取り扱っているような修復のための機構は備わっていない．この修復手法に関しては追加設計や実装が必要であるが，未だ納得のいく設計を見出していない．このテクスチャ修復部分に関しては，２年目にも引き続き手法設計の再検討及び開発を進める予定である．

現在までの達成度 (区分)

3: やや遅れている

理由

概要にも記述したように，物体表面のテクスチャ修復に関しての進行に遅れが生じている．その主な理由は，手法の設計，実装及び実験に十分なエフォートを割けられなかった点が挙げられる．その中で，設計から実装に至るまでの準備に予想以上の時間がかかったのが最も大きい理由である．令和５年度中，最新発売GPUの搭載されたワークステーションを新規購入し，実装環境をそちらに移行した．その環境移行に伴い，設計から実装に至るまでの試行錯誤に予想以上に時間がかかったのが遅れの原因である．

今後の研究の推進方策

本年度の研究遂行途中，新規GPUワークステーションを導入することで実装環境が大きく変わった．その整備は本年度で概ね完了されているものの，整備や適応に時間を予想以上費やした．
今後の対策としては，研究進行途中は大きいハードウェアやオペレーティングシステムの変更は行わず，形状及び表面テクスチャの表現を可能とする手法の設計と，それを実現するソフトウェア開発にのみエフォートを割く予定である．