2021 Fiscal Year Annual Research Report
HMD組み込み型光センサを用いた表情認識における生成型学習
| Project/Area Number |
21J13664
|
|---|
| Research Institution | Keio University |
|---|
Principal Investigator |
中村 文彦 慶應義塾大学, 理工学研究科, 特別研究員(DC2)
|
|---|
| Project Period (FY) |
2021-04-28 – 2023-03-31
|
| Keywords | 表情認識 / 顔面形状認識 / 機械学習 / 顔面触覚 |
|---|
| Outline of Annual Research Achievements |
頭部装着型ディスプレイ（Head-Mounted Display: HMD）の普及によって，手軽にバーチャル環境に没入する体験が可能になった．このようなバーチャル環境で臨場感の高いコミュニケーションを実現するためには，アバターへの身体動作，特に表情の反映が重要である．HMD装着者の表情認識においては，組込型光センサから得られた低次元データを基に機械学習を用いて表情を識別する手法が提案されている．しかし，このような機械学習を基にした手法で，良好な識別精度を達成するためには，学習に用いる訓練データの量・質ともに確保することが不可欠である．本研究では，訓練データを人工的に生成するアプローチである生成型学習を組込型光センサによる表情計測に適用することによって，有用性を検証することを目的としている．
研究期間の初年次にあたる2021年度では，HMDを装着したユーザの表情をバーチャル環境に取り込み，表情計測のシミュレーション環境を構築した．また， 3次元造形装置によって作成された造形物を用いてHMDに反射型光センサを取り付けることで．シミュレーション環境に合わせた表情計測装置を作成した．多様なデータセットを持っていることで表情認識の精度を向上させられることを確認するため，視線や頭部の向きによる表情計測への影響について検証を行った．さらに，反射型光センサをロボットアームの先端に取り付けて顔面形状を計測する手法についても検証した．この技術を応用して，顔面形状の計測に基づく顔面への触覚提示手法を提案し，空間誘導を行った．
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
本研究では，頭部装着型ディスプレイ（Head-Mounted Display: HMD）を用いたバーチャル環境における表情認識のための生成型学習の有用性の検証のために研究を進めている．反射型光センサによる皮膚表面の計測と機械学習を基にした表情認識技術を基礎として，反射型光センサのシミュレーション環境の構築，構築したシミュレーション環境を利用した訓練データの生成，生成した訓練データを用いた表情認識の検証を計画している．反射型光センサを用いた表情認識における生成型学習の有用性の検証を通して，訓練データの収集プロセスの簡略化についての知見が得られることが期待される．
研究期間の初年次にあたる2021年度の研究においては，HMDを装着したユーザの表情をバーチャル環境に配置し，反射型光センサによる表情計測のシミュレーションを行う環境を構築した．さらに，シミュレーション環境に合わせて光センサを配置するように表情計測装置を改良した．しかし，生成した訓練データによる表情認識精度について未検証であり，当初の計画からやや遅れている．また，多様なデータセットが与える表情認識精度への影響を検証するために，視線や頭部の向きが表情認識精度に与える影響を検証した．さらに，反射型光センサをHMDに取り付けたロボットアームの先端にと取り付けて顔面形状を計測する手法を構築した．この技術を応用して，計測した顔面形状を基に空間方向情報に基づいた触覚刺激を提示する手法を提案した．初年度の進捗として，シミュレーション環境の構築，計測のための頭部や視線が表情認識に与える影響の検証，光センサによる顔面形状の計測・推定を行い，反射型光センサによる顔面形状の計測に関する知見を得た．
|
| Strategy for Future Research Activity |
今後の研究の推進方策としては，本年度に得られた知見と作成した表情計測装置と構築したシミュレーション環境を用いて，訓練データを人工的に生成し，その訓練データを機械学習することで，生成型学習が反射型光センサによる表情認識に与える影響について検証を進める．訓練データを機械学習するだけでなく，ユーザ内・ユーザ間での転移学習の可能性についても検討を進める．これらの検討を進めることによって反射型光センサによる表情認識技術のユーザビリティの向上の可能性について検証を行う．
|
