2022 Fiscal Year Annual Research Report
HMD組み込み型光センサを用いた表情認識における生成型学習
| Project/Area Number |
21J13664
|
|---|
| Research Institution | Keio University |
|---|
Principal Investigator |
中村 文彦 慶應義塾大学, 理工学部(矢上), 特別研究員(PD)
|
|---|
| Project Period (FY) |
2021-04-28 – 2023-03-31
|
| Keywords | 表情認識 / 顔面形状認識 / 機械学習 / 顔面触覚 |
|---|
| Outline of Annual Research Achievements |
頭部装着型ディスプレイ（Head-Mounted Display: HMD）が社会に普及するようになり，ユーザがバーチャル環境に没入して様々な体験することが手軽にできるようになった．バーチャル環境において臨場感の高いコミュニケーションのためには，アバターへの身体動作の反映だけでなく，表情も反映することが不可欠である．HMD装着者の表情認識に関する先行研究では，組込型光センサから得られた低次元のデータを機械学習することで，表情を識別している．しかし，良好な識別精度を持った機械学習モデルの構築には，学習に用いる訓練データの量と質の確保が必要である．本研究では，訓練データを人工的に生成するアプローチである生成型学習を組込型光センサによる表情計測に適用することによって，有用性を検証することを目的としている．
研究期間の最終年次にあたる2022年度では，HMDを装着したユーザが目と頭部が多様な方向を向いている時の表情のデータセットを収集し，視線と頭部方向が組込型光センサによる表情識別に与える影響を検証した．この成果は国際学術誌IEEE Transactions on Visualization and Computer Graphicsに掲載された．また，ロボットアームの先端に取り付けた反射型光センサによる顔面形状の計測を基にした顔面への触覚提示による空間誘導手法を提案した．この成果は国際学術誌Frontiers in Computer Scienceに掲載された．さらに，HMD装着者の表情を学習したモデルに対して転移学習の手法であるFine Tuningを適用することで，少ない訓練データでも表情認識の精度が向上することを示した．この成果は国際学会Augmented Humans 2023でポスター発表を行った．
|
| Research Progress Status |
令和4年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
令和4年度が最終年度であるため、記入しない。
|
