| 研究課題/領域番号 |
21H03461
|
|---|
| 配分区分 | 補助金 |
|---|
| 研究機関 | 東京工業大学 |
|---|
研究代表者 |
渡辺 義浩 東京工業大学, 工学院, 准教授 (80456160)
|
|---|
| 研究期間 (年度) |
2021-04-01 – 2025-03-31
|
| キーワード | 拡張現実 / コンピュータビジョン / コンピュータグラフィクス / プロジェクタ |
|---|
| 研究実績の概要 |
本年度は、赤外イメージングによる皮膚変形推定に関する研究に着手した。まず、拡張現実応用の目的に適した赤外波長域を決めるために、近赤外域や中・遠赤外域の撮像画像を用いて検証を進めた。その結果、当初の予定通り、中・遠赤外域が今回の目的には適していると判断した。次に、人体変形を画像ベースで推定する関連手法の調査を改めて実施した。その結果、特徴点追跡、変形テンプレートマッチング、機械学習のアプローチに分類できることが分かったが、特に機械学習のアプローチが有効であると判断した。さらに、機械学習のアプローチを予備検証するために、皮膚の3次元変形と赤外画像のペアから成るデータセットを準備した。同データセットを関連手法のニューラルネットワークで学習させたところ、精度と速度の両面で向上の余地があることが分かった。
また、赤外画像センシングと連携する投影型拡張現実向けの認識技術についても研究を進めた。本年度は、インスタンスセグメンテーションの高速化を図った。これは、シチュエーションを限定した専門モデルを作成し、ネットワークを軽量化することでインスタンスセグメンテーションを高速化するものである．また、実行時にカーネル更新を毎フレーム行わず、別のスレッドで並列して実行させることで、セグメンテーションの処理量を削減した。以上の手法を実装し、実験したところ、約3.5msでインスタンスセグメンテーションを実行できることを確認した。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
本年度は赤外イメージングによる皮膚変形推定の基礎検証を進める計画であった。この計画のもと、イメージングの具体的な方法や、推定手法のアプローチの策定、予備検証までを完了した。以上の状況より、おおむね順調に進展していると考えられる。
|
| 今後の研究の推進方策 |
今後は、赤外イメージングによる皮膚変形推定を進展させるとともに、インタラクションを伴う拡張現実や質感を操作する拡張現実に関連する赤外画像センシング技術の開発を進める。
|
