2022 Fiscal Year Annual Research Report
赤外域の透過・反射・熱特性を駆使した投影型拡張現実のための画像センシング
| Project/Area Number |
21H03461
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
渡辺 義浩 東京工業大学, 工学院, 准教授 (80456160)
|
|---|
| Project Period (FY) |
2021-04-01 – 2025-03-31
|
| Keywords | 拡張現実 / コンピュータビジョン / コンピュータグラフィクス / プロジェクタ |
|---|
| Outline of Annual Research Achievements |
本年度は、前年度に引き続き、赤外画像を利用した皮膚変形の推定手法の研究に着手した。前年度までの検討に基づき、中・遠赤外域の画像を用いた機械学習による手法の設計に取り組んだ。本年度は主に前年度に検証した手法の改善に努めた。本手法では、皮膚変形として、カメラ画像上での皮膚表面の2次元座標の推定を目的とした。カメラと同軸化されたプロジェクタを用いる場合、このようにカメラから見えている部分の表面座標が推定できれば、投影によって皮膚テクスチャの外観操作が実現できると考えられる。この問題設定のもと、中・遠赤外画像から皮膚表面の2次元座標を可視化した画像を生成する手法を試みた。具体的には、条件付き敵対的生成ネットワークに基づく画像変換を行うニューラルネットワークをもとに手法を構築した。また、画像の前処理や損失関数のバリエーションに対する挙動を検証した。検証の結果、皮膚の動きに整合した投影像の変化を確認することができたが、投影型拡張現実へ適用するためには、さらなる高精度化が必要であることがわかった。
また、皮膚変形推定をサポートする連携手法として、非剛体3次元トラッキングの研究にも取り組んだ。本年度は、非剛体3次元トラッキングを高速化するために、変形グラフの生成において、剛体運動とみなせる領域のノードを動的に削減する手法を構築した。検証の結果、トラッキングの精度を落とすことなく、高速化が可能であることが分かった。
次に、可視域と赤外域の異なる波長間の反射特性の違いを利用した動的な周囲環境の把握に着手した。本年度は、このような手法に有効な素材を探す作業を実施した。具体的には、可視光域で拡散反射性が強く、中・遠赤外域で鏡面反射性が強い条件を満たすような素材を探した。3次元プリント可能な素材や加工が可能な素材などに関して反射特性を検証し、実験に利用できる対象と条件の可能性を絞り込んだ。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度は、赤外画像を利用した皮膚変形の取得に関して手法の拡張を行う予定であった。また、可視域と赤外域の波長間の反射特性の違いを利用した周囲環境把握に関する対象選定を実施する予定であった。これらについて結果を得る段階まで来ており、おおむね順調に進展していると考えられる。
|
| Strategy for Future Research Activity |
本年度に進めた2課題を進展させるとともに、残る1課題のインタラクションを伴う拡張現実についても研究を開始する。
|
