2021 Fiscal Year Annual Research Report
3D Measurement and AR application using spectral image
| Project/Area Number |
19K12015
|
|---|
| Research Institution | Chiba University |
|---|
Principal Investigator |
眞鍋 佳嗣 千葉大学, 大学院工学研究院, 教授 (50273610)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | 分光画像 / 三次元画像計測 / 拡張現実感 |
|---|
| Outline of Annual Research Achievements |
本研究は，近年注目されている拡張現実感（Augmented Reality: AR）技術のための，正確な色や形を有するデジタルコンテンツの作成手法を研究開発し，理科教育などへの活用を目指すものである．ARにおいて現実空間と仮想物体を違和感なく融合させるには，表示する仮想物体の形状や表面の分光反射率などの光学的特性だけではなく，現実空間の照明環境，物体の形状や分光反射率などの物理的な情報のモデル化が重要となる．本研究では，正確な色や形を有するデジタルコンテンツの作成手法として分光三次元画像計測手法を確立し，分光情報を基礎とした物理モデルベースのAR技術の開発を行うことを目的として研究を行っている．
令和３年度は，環境及び各種物体のトータルな分光三次元計測を実現するために，パッシブ型の計測手法として，画像から特徴点を検出し，別の画像の特徴点とマッチングしてカメラ位置の推定，および三次元計測を行う多視点ステレオの応用を試みた．この手法をHDR分光画像システムで計測した画像に適用することで，波長ごとの三次元点群の計測が可能であり，分光三次元計測が可能であることが確認できた．
また，近年，新規視点画像生成分野で注目されている，Neural Radiance Field (NeRF)による分光三次元画像生成を試みた．HDR分光画像システムで対象物体を回転させながら撮影した画像群に対してNeRFを適用し，各フィルタ画像において三次元形状復元が行えることがわかった．しかしながら，各フィルタ画像で生成された三次元点群の位置合わせが不十分であったため，分光情報の推定が正しく行えなかった．しかしながら，NeRFを用いた分光三次元計測の可能性が確認できたため，今後も研究を続けていく予定である．
|
