2016 Fiscal Year Annual Research Report
没入型バーチャルリアリティ環境における表情認識技術の構築
| Project/Area Number |
16H05870
|
|---|
| Research Institution | Keio University |
|---|
Principal Investigator |
杉本 麻樹 慶應義塾大学, 理工学部(矢上), 准教授 (50517399)
|
|---|
| Project Period (FY) |
2016-04-01 – 2020-03-31
|
| Keywords | バーチャルリアリティ / 表情計測 / 光センシング |
|---|
| Outline of Annual Research Achievements |
高度なヘッドトラッキングや高解像度の頭部装蒋型ディスプレイ(HMD)の普及によって，バーチャルリアリティ環境において高度な没入型のエンタテインメントコンテンツを提供することが可能である．こうした没入型のバーチャルリアリティ環境においては，実環境のユーザの状態を反映するために手形状や四肢の運動など多様な計測が行なわれている．一方で，HMDを装着した頭部については，光学的な遮蔽の為， 計測を行うことが難しいという問題があった．本研究では，こうしたHMDを装着したVR環境での組込型光センサと機械学習を用いたユーザの表情認識技術において，センシングシステムと情報処理の高度化によってユーザの状態の詳細な理解を可能とすることを目的として研究を推進している．
研究の初年度である本年度は，主にHMD内部に配置した光センサに対して高速サンプリングを行ない各時刻で取得したセンサ情報に対して表情認識を行なう技術を基盤としながら，微細表情計測の可能性を検討した．提案システムでは，組込型の反射型光センサを用いるため高速サンプリングを行うことができる．そこで，多チャンネルを高速にサンプリング可能なマイクロコントローラユニットを導入し，これまでの研究で実施していた映像信号と同期した計測と比較して高いサンプリングレートでのセンシングを実現する回路の設計を行なうと共に，提案システムでの微細表情計測の可能性を確認するため，バーチャル環境でのユーザの表情に対してセンシングを行なったデータから表情の表出強度の識別が可能であることについて検証を行なった．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究では，頭部装着型ディスプレイを用いたバーチャルリアリティ環境において表情認識のための計測技術構築を目的として研究の推進を行なっている．反射型光センサと機械学習を基盤技術としながら，高速サンプリングに基づく微細表情計測，多波長センサによる生理情報を考慮した表情計測，頻度に注目した表情情報の記録と集合的解析を中心として，研究の実施を計画している．組込型の光センサを活用することで表情変化による皮膚表面とセンサの距離や反射特性の変化を学習することで，低い計算コストでユーザの表情を識別することが可能になると期待される．
本年度の研究においては高速サンプリングに基づく微細表情計測を目標としてハードウェアシステムの設計を行なうと共に，基本表情の表出強度を識別する機械学習器を構成し，微細表情が提案システムにおいて識別可能であることを確認した．本研究においては，先行研究で提唱されている基本表情を参考としながら，代表的な感情に結びついていると考えられるニュートラル，笑い，怒り，驚き，悲しみの5表情を識別対象の基本表情とし，各基本表情に対して実時間のHMD内部での表出強度を識別するシステムの構築を行なった．初年度の進捗として，本研究での提案手法によって各基本表情の表出強度として微細表情が計測可能であることを確認することができた．
|
| Strategy for Future Research Activity |
今後の研究の推進方策としては，本年度に開発した計測システムを基盤技術としながら，バーチャル環境においてユーザの表情計測を行なう方法についての研究を持続的に進める．これまでに開発した表情識別技術の基盤を活用しながら，センシングシステムに多波長のセンサ情報を加味することによって，皮膚表面形状の変形のみではなく，顔色などの変化が計測可能であるかについても検討を進める．
また，センシングシステムの高度化を図ると共に，多様な没入型バーチャル環境でのコンテンツに対する実際のユーザの反応を記録することによって，VR環境での行動解析における提案手法の可能性について検証を行なう．
|
