| 研究課題/領域番号 |
19K12015
|
|---|
| 研究機関 | 千葉大学 |
|---|
研究代表者 |
眞鍋 佳嗣 千葉大学, 大学院工学研究院, 教授 (50273610)
|
|---|
| 研究期間 (年度) |
2019-04-01 – 2022-03-31
|
| キーワード | 分光画像 / 三次元画像計測 / 拡張現実感 |
|---|
| 研究実績の概要 |
本研究は，近年注目されている拡張現実感（Augmented Reality: AR）技術のための，正確な色や形を有するデジタルコンテンツの作成手法を研究開発し，理科教育などへの活用を目指すものである．ARにおいて現実空間と仮想物体を違和感なく融合させるには，表示する仮想物体の形状や表面の分光反射率などの光学的特性だけではなく，現実空間の照明環境，物体の形状や分光反射率などの物理的な情報のモデル化が重要となる．そこで本研究では，正確な色や形を有するデジタルコンテンツの作成手法として分光三次元画像計測手法を確立し，分光情報を基礎とした物理モデルベースのAR技術の開発を行うことを目的として研究を行っている．
令和２年度は，主にパッシブ型の三次元分光画像計測手法の検討を行なった．具体的には，１台の分光画像計測システムを動かしながらSLAM技術を適用し，分光情報と三次元計測の同時計測の実現を目指した．CMY-NDフィルタ画像の位置合わせ精度の向上及び多方向からの計測の位置合わせ精度の向上を狙い，ORB特徴を用いた手法を適用し分光情報と三次元位置の計測が可能であることを確認した．分光情報の計測においては，室内での蛍光灯下での計測において，蛍光灯の分光放射特性を含めて精度の良い計測が実現できた．また，三次元計測においては，計測システムを移動させながら撮影した画像間でORB特徴が求まり対応点が取れた箇所において，正しく三次元計測が行えた．
なお，２台の分光画像計測システムによるステレオ計測の検討を行なったが，２台の分光画像計測システム間での色合わせにおいて，十分な精度向上が図れなかった．また，パターン光投影法による計測精度に関しても，いくつかの改善手法を試してみたがこちらも十分な精度が得られなかった． この二つの研究については，令和３年度も継続して研究を行う予定である．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
3: やや遅れている
理由
令和２年度は，主にパッシブ型の三次元分光画像計測手法について実現可能かどうかの研究を行なった．
令和元年度は，アクティブ型であるパターン光投影法とこれまで開発してきたCMY-NDフィルタによる分光画像計測システムとPCプロジェクタを組み合わせ，三次元分光画像計測を実現し，その評価及びAR表示を行ない成果が得られた．しかしながら，パターン光投影法などのアクティブステレオ法は，物体などの高精度な三次元計測に向いているが，部屋全体のような環境など広範囲の測定には向いていないため，パッシブ型の計測も必要であると考えた．
そこで，令和２年度はパッシブ型の三次元分光画像計測手法として，SLAM技術を用いて１台の分光画像計測システムを動かしながら分光情報と三次元計測の同時計測の研究を行なった．
まず，SLAM技術として，特徴点の三次元位置を計測する疎な手法と画像全体の密な手法が提案されているが，今回はCMY-NDフィルタ画像の位置合わせ精度の向上及び多方向からの計測の位置合わせ精度の向上を狙いORB特徴を用いた手法を採用し，疎な三次元点群の計測を試みた．研究の結果，計測システムを移動させながら撮影した画像間でORB特徴が求まり対応点が取れた箇所において，正しく三次元計測が可能であり，その点における分光情報の推定も精度良くできることが分かった．また，計測された三次元点群の位置合わせや欠損箇所の補完方法として，ディープラーニングを用いた手法についても取り組んだ．
しかし一方で，フィルタ画像の位置合わせにおいては，従来のチェッカーボードパターンを用いた手法の方がキャリブレーション精度がよく，今後さらに検討が必要であることが分かった．また，疎な三次元点群の計測手法であるORB-SLAMを今回採用したが，想定したよりも対応関係が求まる特徴点が少なく，対象の全体を再現することには至らなかった．
|
| 今後の研究の推進方策 |
令和元年度は，パターン光投影法を用いたアクティブ型の三次元画像計測による物体の三次元形状と分光反射率の計測，令和2年度はSLAM技術を応用したパッシブ型の三次元画像計測による環境の三次元計測と分光反射率の計測技術の開発を行なった．令和３年度においては，環境及び各種物体のトータルな分光三次元計測を実現するために，令和元年度，令和２年度に研究を行なったアクティブ型及びパッシブ型の分光三次元画像計測手法の改善を行う．
具体的には，パターン光投影法による計測精度の向上を目指す．特に，これまで開発を行ってきた分光画像計測システムではHDRの計測が可能であり，この特性を活かした光沢物体などの形状計測の高精度化を目指す．また，パッシブ型であるSLAM技術を応用した計測手法では，令和２年度に適用した計測点群が疎なSLAM技術に加えて密な手法の適用の検討を行い，環境全体の計測の実現を目指す．その際に，CYM-NDフィルタ画像の位置合わせの高精度化や，物体の全周計測のための複数方向で計測された形状データの統合に分光情報を利用した高精度な三次元点群の位置合わせ手法についての検討も行う．
さらに，環境計測において照明器具の位置や照明の色といった照明条件についても，これまで開発してきた分光画像計測システムによるHDR計測を用いて可能であるか検討を行い，HDR処理を含めたARに適した分光情報推定手法について再検討を行う．
これらの，物体を計測するためのパターン光投影法を用いたアクティブ型の分光三次元画像計測，部屋などの環境を計測するためのSLAM技術を応用したパッシブ型の分光三次元画像計測，照明環境計測や精度向上などの要素技術の研究成果を統合し，最終的には分光三次元計測技術を用いたAR技術の実現を目指す．
|
| 次年度使用額が生じた理由 |
2020年度はコロナ禍により，発表を予定していた国際会議が軒並み中止またはオンライン開催となり，旅費及び参加費の支出をこの科研費から行う予定であったが，旅費の支出がなくなったため支出計画と大きく異なってしまった．この分に関しては，令和３年度において改めて国際会議での発表のための旅費，参加費として使用したいと考えている．しかし，渡航できるか不明なため，渡航できない場合は，論文校閲などの費用に充てたい．
|
