2021 Fiscal Year Annual Research Report
赤外域の透過・反射・熱特性を駆使した投影型拡張現実のための画像センシング
| Project/Area Number |
21H03461
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
渡辺 義浩 東京工業大学, 工学院, 准教授 (80456160)
|
|---|
| Project Period (FY) |
2021-04-01 – 2025-03-31
|
| Keywords | 拡張現実 / コンピュータビジョン / コンピュータグラフィクス / プロジェクタ |
|---|
| Outline of Annual Research Achievements |
本年度は、赤外イメージングによる皮膚変形推定に関する研究に着手した。まず、拡張現実応用の目的に適した赤外波長域を決めるために、近赤外域や中・遠赤外域の撮像画像を用いて検証を進めた。その結果、当初の予定通り、中・遠赤外域が今回の目的には適していると判断した。次に、人体変形を画像ベースで推定する関連手法の調査を改めて実施した。その結果、特徴点追跡、変形テンプレートマッチング、機械学習のアプローチに分類できることが分かったが、特に機械学習のアプローチが有効であると判断した。さらに、機械学習のアプローチを予備検証するために、皮膚の3次元変形と赤外画像のペアから成るデータセットを準備した。同データセットを関連手法のニューラルネットワークで学習させたところ、精度と速度の両面で向上の余地があることが分かった。
また、赤外画像センシングと連携する投影型拡張現実向けの認識技術についても研究を進めた。本年度は、インスタンスセグメンテーションの高速化を図った。これは、シチュエーションを限定した専門モデルを作成し、ネットワークを軽量化することでインスタンスセグメンテーションを高速化するものである．また、実行時にカーネル更新を毎フレーム行わず、別のスレッドで並列して実行させることで、セグメンテーションの処理量を削減した。以上の手法を実装し、実験したところ、約3.5msでインスタンスセグメンテーションを実行できることを確認した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度は赤外イメージングによる皮膚変形推定の基礎検証を進める計画であった。この計画のもと、イメージングの具体的な方法や、推定手法のアプローチの策定、予備検証までを完了した。以上の状況より、おおむね順調に進展していると考えられる。
|
| Strategy for Future Research Activity |
今後は、赤外イメージングによる皮膚変形推定を進展させるとともに、インタラクションを伴う拡張現実や質感を操作する拡張現実に関連する赤外画像センシング技術の開発を進める。
|
