2023 Fiscal Year Annual Research Report
赤外域の透過・反射・熱特性を駆使した投影型拡張現実のための画像センシング
| Project/Area Number |
21H03461
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
渡辺 義浩 東京工業大学, 工学院, 准教授 (80456160)
|
|---|
| Project Period (FY) |
2021-04-01 – 2025-03-31
|
| Keywords | 拡張現実 / コンピュータビジョン / コンピュータグラフィクス / プロジェクタ |
|---|
| Outline of Annual Research Achievements |
本年度は、前年度に引き続き、可視域と赤外域の異なる波長間の反射特性の違いを利用した動的な周囲環境の把握に着手した。本手法の応用として、赤外域の投影対象表面の映り込みの反射像を、可視光のプロジェクションマッピングの映像に利用することを検討した。このような応用の場合、赤外域の画像では可視光域の色を計測できない問題がある。そこで、プロジェクションマッピングによって質感操作する素材を導体に限定することで、映り込みを再現する可能性を検証した。その結果、一部の粗さの条件下では、赤外域の反射像を用いて映り込み再現が可能であることを示した。また並行して、投影対象の素材として、可視光域で拡散反射性が強く、中・遠赤外域で鏡面反射性が強い条件を満たすようなものを前年度に続いて探す実験を進めた。
また、赤外画像を利用した皮膚変形の推定と連携する手法として、非剛体3次元トラッキングの研究にも取り組んだ。前年度までの手法は、トラッキングの対象ごとにパラメータの手動調整を行うなどの問題があった。これに対し、本年度はこのような調整を自動化する手法を設計した。実験の結果、前年度までの手法に対して、調整の手間を回避するとともに、速度と精度の両面で性能が向上することを確認した。
さらに、赤外画像による投影型拡張現実の入力技術と連携する手法として、高速な深度計測に関する研究に着手した。構造化光法に基づく深度計測は高速化の点で有効だが、高速化に伴う短い露光時間や少ないパターン枚数により、精度が低下する問題がある。そこで、本年度は特に位相シフト法における同問題を解決するための手法を設計した。具体的には、パターンの反射像から相互反射の影響が小さい陰影画像を抽出し、同画像に整合するように深度を補正する手法を試みた。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
赤外画像を利用した皮膚変形の推定、赤外画像による投影型拡張現実の入力技術、可視域と赤外域の異なる波長間の反射特性の違いを利用した動的な周囲環境の把握の3つのテーマについて、それぞれ新たな関連成果を得ることができた。以上より、おおむね順調に進展していると判断できる。
|
| Strategy for Future Research Activity |
可視域と赤外域の異なる波長間の反射特性の違いを利用した動的な周囲環境の把握を中心に、最終年度に向けて提案技術の完成を目指す予定である。
|
