2023 Fiscal Year Research-status Report
Spatial Calibration of Head-Mounted Displays Based on Implicit Function Representation of Light Fields Using Deep Learning
| Project/Area Number |
23K16920
|
|---|
| Research Institution | Cluster, Inc. Metaverse Laboratory |
|---|
Principal Investigator |
廣井 裕一 クラスター株式会社(メタバース研究所), メタバース研究所, シニアリサーチサイエンティスト (10914856)
|
|---|
| Project Period (FY) |
2023-04-01 – 2026-03-31
|
| Keywords | 自由形状光学系 / ヘッドマウントディスプレイ / 収差補正 / Neural Fields / Gaussian Splatting |
|---|
| Outline of Annual Research Achievements |
本研究は、自由形状光学系を用いた頭部搭載型ディスプレイ(HMD)において、視点に応じた非線形の光学歪みを高速・高精度に補正することを目的とする。この歪み補正により、HMD装着時に視野が揺れ動くことによる不快感を軽減し、VR/AR体験の没入感向上を図る。
本年度は、可変波長板とデジタルマイクロミラーを高速に時間多重同期させることにより、人間の知覚上で入射光の位相を積分的に変調するシステムを提案した。このシステムでは、可変波長板により入射光の位相を高速に制御し、デジタルマイクロミラーで光の向きを変えることで、リアルタイムかつ高精度な光学収差補正を実現する。本システムを応用することにより、自由形状光学系の複雑な光線場に起因する収差を、高速かつ高精度に近似・補正する方法の検討を進める。
また、Neural Fieldsを用いた画像歪みの動的補正手法についても検討を進めた。当初は深層ニューラルネットによる陰関数表現の適用を検討していたが、2023年8月に発表されたGaussian Splattingと呼ばれる3次元シーンの高精度な再現手法に着目し、これをHMDの収差表現に応用する方針を掘り下げた。Gaussian Splattingは、ガウス分布の重ね合わせによって3次元シーンを表現する手法であり、先行研究によれば、色収差や点拡がり関数などを含むHMDの収差がガウス分布の補間で近似可能であることが示唆されている。本年度は、このHMD収差のガウス分布モデルとGaussian Splattingの統合について検討を進め、光学分野に関する国際論文誌への投稿準備を進めている。さらに、提案手法の有効性を実証するため、民生HMDの各光学系の画像歪みに関するデータセットの作成にも取り組んでいる。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
研究代表者の所属機関の異動に伴い、実験環境構築にやや遅れが生じている。また、複雑な光線場の学習手法について、当初はNeural Fieldを基盤とした手法の適用を検討していたが、より高精度・高速、かつHMDの収差補正との相性が良いと期待されるGaussian Splattingが登場したため、この適用についても時間を要している。一方で、Gaussian Splattingの適用可能性が裏付けられた場合は、当初の計画よりも高速・高精度な較正結果を得られるとも考えられる。
|
| Strategy for Future Research Activity |
本年度の研究成果を発展させ、光学的・ハードウェア的アプローチと画像処理によるソフトウェア的アプローチ、さらには視覚特性を考慮したアプローチを統合した補正手法の確立を目指す。
高速な光学収差補正システムについては、可変波長板とデジタルマイクロミラーを用いた手法の更なる高度化を図る。具体的には、システムの小型化・軽量化に向けた設計最適化、および目標の光学収差再現に向けた最適化手法の検討に取り組む。
ソフトウェア的アプローチについては、Gaussian Splattingを中核とした画像歪み補正アルゴリズムの高精度化と高速化を重点的に進める。HMD収差のガウス分布モデルとGaussian Splattingの統合により、より正確な歪み補正の実現を目指す。この成果を、光学系の国際学術誌へと投稿することを目指す。また、民生HMDの画像歪みデータセットについても計測および公開に向けた準備を進める。
|
Research Products
(3 results)
