2023 Fiscal Year Annual Research Report
顔形状復元によるデータ生成と自己教師型補助タスクに基づく視線推定器のドメイン適応
| Project/Area Number |
21K11932
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
菅野 裕介 東京大学, 生産技術研究所, 准教授 (10593585)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | 視線推定 |
|---|
| Outline of Annual Research Achievements |
本年度は、3次元復元に基づく学習データ生成手法と特徴分離を用いたドメイン適応手法を組み合わせることで、未知の環境でも頑健に動作する視線推定モデルの構築に取り組んだ。単眼の入力画像から顔の3次元形状を復元し、様々な顔向きでレンダリングすることで、学習データに含まれる顔向きの多様性を拡張する。生成データと実データの見えの差を吸収するため、教師なしドメイン適応手法を新たに開発した。視線方向、頭部姿勢、その他の要因を表現する内部特徴を事前学習時に分離することで、ターゲットドメインへの適応をより効果的に行えることを示した。また、背景領域がランダムに生成されるという合成データの特性を活用し、ターゲットドメインの画像で背景領域を入れ替えても推定結果が変化しないという拘束を損失関数に導入することで、更なる精度向上を実現した。
さらに、単眼の推定モデルに加え、複眼のカメラ入力を用いたアピアランスベース視線推定モデルの構築にも取り組んだ。提案手法では、カメラ間の相対姿勢を入力の一部として利用し、それを手がかりとして特徴を変換・融合するネットワークブロックを新たに考案した。このブロックを繰り返し適用することで、未知のカメラ配置に対する高い汎化性能を実現できる。従来の単眼モデルと比較して特に顔向きの異なるデータに対する推定精度が大幅に向上し、現実的な設置環境を想定した場合の有効性を示すことができた。このネットワークは合成データのみを用いて学習できるため、複眼の視線推定モデルを容易に構築できる。
|
