2018 Fiscal Year Annual Research Report
没入型バーチャルリアリティ環境における表情認識技術の構築
| Project/Area Number |
16H05870
|
|---|
| Research Institution | Keio University |
|---|
Principal Investigator |
杉本 麻樹 慶應義塾大学, 理工学部(矢上), 准教授 (50517399)
|
|---|
| Project Period (FY) |
2016-04-01 – 2020-03-31
|
| Keywords | 表情認識 / 反射型光センサ / 機械学習 |
|---|
| Outline of Annual Research Achievements |
研究期間の3年次にあたる本年度は，2年次に引き続き組み込み型光センサから取得できる情報から装着者の顔表情の幾何推定がどの程度の精度できるかを定量的に検討することを持続するとともに，表情識別のための訓練データを視線方向毎に取得することによって推定の精度が向上するかについて検討を行った．また，国内展示会での実演展示を通じて，研究成果を多数の研究者や一般の来場者に体験する機会を設けて，アウトリーチ活動を進めた．
これまでの研究期間において，頭部装着型ディスプレイを装着したユーザの表情を識別する組み込み型光センサと機械学習のシステムを構築しており，感情に対応した基本表情毎の識別と，表情の表出強度の推定を行ってきた．これらの研究の過程において，頭部の向きや視線方向等が基本表情の識別精度に影響を与えるという知見が得られている．定量的にこの影響を検討するための試みとして，頭部装着型ディスプレイ内部で提示する視覚情報として，視線方向毎に注視指標を提示し，視線方向を統制した条件において反射型光センサの情報を取得した．取得したデータから本表情の識別器を訓練する際に用いるデータとテストデータを，単一の視線方向のデータのみ用いた条件・各方向の視線方向のデータを用いた条件・全方向の視線方向のデータを同一に取り扱った条件において識別精度がどのように変化するかを検討した． この検討の結果として，視線方向が大きく変化する条件において良好な基本表情の識別率を得るためには，視線方向毎の訓練データを持つことで，単一の視線方向のデータのみを用いた条件より良好な識別率が得られることを確認した．
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
現在までの研究の進捗状況としては，当初の研究計画以上に進展していると考えられる．これは，研究開始時においては，本研究で使用している反射型光センサの情報に基づいて笑い・驚き・怒り・悲しみ・ニュートラルといった基本表情を前提とした表情識別が可能であると考えていたが，本研究の実施を通じて，主成分を踏まえた幾何推定が可能であることを示せている．また頭部方向や視線などによる認識精度への影響を定量的に明らかにすることにより，表情以外のパラメータがどの程度識別精度に影響を与えるかを検証することを進められており，当初の研究計画以上に研究が進展している状況である．
|
| Strategy for Future Research Activity |
研究期間の4年次においては，国際会議等における実演展示を通じて，アウトリーチ活動を行うとともに，多数のユーザの表情データを取得することによって，個人毎の訓練データの有無に応じた識別精度についての検討を進める．また，今後の研究の発展のため，表情の変化を時間的に捉えて学習することや，転移学習などの機械学習手法の活用による精度向上・訓練データの取得の簡素化が可能かについても基礎的な知見を獲得するための検討を行う．
|
