| 研究課題/領域番号 |
19K12015
|
|---|
| 研究機関 | 千葉大学 |
|---|
研究代表者 |
眞鍋 佳嗣 千葉大学, 大学院工学研究院, 教授 (50273610)
|
|---|
| 研究期間 (年度) |
2019-04-01 – 2022-03-31
|
| キーワード | 分光画像 / 三次元画像計測 / 拡張現実感 |
|---|
| 研究実績の概要 |
本研究は，近年注目されている拡張現実感（Augmented Reality:AR）技術のための，正確な色や形を有するデジタルコンテンツの作成手法を研究開発し，理科教育などへの活用を目指すものである．ARにおいて現実空間と仮想物体を違和感なく融合させるには，表示する仮想物体の形状や表面の分光反射率などの光学的特性だけではなく，現実空間の照明環境，物体の形状や分光反射率などの物理的な情報のモデル化が重要となる．そこで本研究では，正確な色や形を有するデジタルコンテンツの作成手法として分光三次元画像計測手法を確立し，分光情報を基礎とした物理モデルベースのAR技術の開発を行うことを目的として研究を行っている．
令和元年度は，分光三次元画像計測手法の開発と照明環境の分光情報計測について，本研究で提案している手法が実現可能であるか確かめた．
まず，分光三次元画像計測手法としては，パターン光投影手法と組み合わせる方法の実現を目指し，これまで開発してきたCMY-NDフィルタによる分光画像計測システムとPCプロジェクを組み合わせ，十分な三次元計測精度ではないが1.5mmほどの誤差での計測が行えた．また，分光情報については，推定結果と分光放射輝度計で測定した値を比較して，二乗平均誤差で0.047となった．
また，照明環境の分光情報計測においては，鏡面球と二次元マーカを組み合わせた立体マーカを用い，分光画像計測システムで立体マーカを計測し周囲の照明環境を推定し，AR表示を行なった結果，実シーン上に重畳表示した仮想物体が，同様の色の変化や陰影を表現できることがわかった．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
令和元年度は，分光三次元画像計測手法の開発と照明環境の分光情報計測について，提案している手法が実現可能かどうかの研究を行った．
まず，分光三次元画像計測手法としては，パターン光投影法と組み合わせる方法の実現を目指した．パターン光投影法では，これまで開発してきたCMY-NDフィルタによる分光画像計測システムとPCプロジェクを組み合わせ，光沢を持たない物体において三次元形状と分光情報を正確に計測できるかの確認を行った．パターン光としては縦横のグレイコードパターンを用い，回転台を利用して６方向から計測を行ない，全周のデータを合成した．合成した全周データは，回転軸の推定が不十分であり1.5mmほどの誤差が生じてしまった．また，分光情報については詳細な検討はできていないが，推定結果と分光放射輝度計で測定した値を比較して，二乗平均誤差で0.047と高い精度となった．
また，照明環境の分光情報計測においては，鏡面球と二次元マーカを組み合わせた立体マーカを分光画像計測システムで計測し，周囲の照明環境を推定した．推定した照明環境を用いてAR表示を行なった結果，パターン光投影手法で計測した実物と，計測された三次元データをもとに実シーン上に重畳表示した仮想物体が，同様の色の変化や陰影を表現できることがわかった．
以上のように，本年度はこれまで開発してきた分光画像計測システムを用いて，三次元画像計測が可能であること，また，鏡面球を利用した立体マーカにより照明環境の分光情報推定を行い，AR表示が可能であることを確かめた．
|
| 今後の研究の推進方策 |
令和元年度は，三次元画像計測手法としてグレイコードパターンを利用したパターン光投影法を分光画像計測に適用し，物体の三次元形状と分光反射率の計測が可能であることを確認した．令和２年度においては，引き続きパターン光投影法による計測精度の向上を目指す．特に，これまで開発を行ってきた分光画像計測システムではHDRの計測が可能であり，この特性を活かした光沢物体などの形状計測の高精度化を目指す．また，分光画像計測システムを２台用いたステレオ画像計測も行い，アクティブ型，パッシブ型の三次元画像計測の実現を目指す．なお，ステレオ画像計測においては，まだ２台のシステム間での色合わせが十分ではないため，カメラ間の色合わせ手法についても研究を行う．さらに，物体の全周計測のために，複数方向で計測された形状データの統合に分光情報を利用した高精度な三次元点群の位置合わせ手法についての検討も行い，新しい位置合わせ手法の提案を目指す．
次に，AR表示においては，令和元年度においては，鏡面球と二次元マーカを組み合わせた立体マーカを用いて照明環境の計測を行なったが，まだ，分光情報の推定精度の検証が十分ではない．また，分光画像計測システムによるHDR計測を用いているが，照明が非常に明るい場合，照明以外の場所との明るさのコントラストが大きくなる問題が生じている．そのため，HDR処理を含めたARに適した分光情報推定手法について再検討を行う．さらに，仮想物体のAR表示を実現し，画像中の実物体と仮想物体を比べると陰影表現やおおまかな色味の再現が可能であることを示した．しかし，シーン中に写っている実物と比べると，画像のボケなどディティールの表現ができていないため，仮想物体の重畳表示における工夫も検討する予定である．
|
| 次年度使用額が生じた理由 |
2020年1月に開催された国際会議に学生３人と参加し研究発表を行なったが，この時の旅費及び参加費の支出をこの科研費から行う予定であったが，大学内の渡航支援をいただけることになり，その分の支出がなくなったため支出計画と大きく異なってしまった．この分に関しては，令和２年度において改めて国際会議での発表のための旅費，参加費として使用する予定である．
|
