HMD組み込み型光センサを用いた表情認識における生成型学習
| Project/Area Number |
21J13664
|
|---|
| Research Category |
Grant-in-Aid for JSPS Fellows
|
| Allocation Type | Single-year Grants |
|---|
| Section | 国内 |
|---|
| Review Section |
Basic Section 61020:Human interface and interaction-related
|
|---|
| Research Institution | Keio University |
|---|
Principal Investigator |
中村 文彦 慶應義塾大学, 理工学部(矢上), 特別研究員(PD)
|
|---|
| Project Period (FY) |
2021-04-28 – 2023-03-31
|
| Project Status |
Completed (Fiscal Year 2022)
|
| Budget Amount *help |
¥1,500,000 (Direct Cost: ¥1,500,000)
Fiscal Year 2022: ¥700,000 (Direct Cost: ¥700,000)
Fiscal Year 2021: ¥800,000 (Direct Cost: ¥800,000)
|
|---|
| Keywords | 表情認識 / 顔面形状認識 / 機械学習 / 顔面触覚 |
|---|
| Outline of Research at the Start |
頭部装着型ディスプレイ（ＨＭＤ）に組み込んだ光センサを用いた表情認識における生成型学習の有効性を検証する．ＨＭＤ組込型光センサによる表情認識では，反射型光センサによって顔面形状の変形を計測し，そのセンサデータを機械学習することで表情を認識する．この機械学習において，人工的に訓練データを生成する生成型学習を適用することで，訓練データの取得の必要性を低減しつつ，表情を学習できるか検証する．また，生成型学習を用いて光センサ情報から表情を再構成する．表情の幾何形状の再構成において，低次元の光センサによる手法と既存の画像処理による手法を比較し，生成型学習の効果を検証する．
|
| Outline of Annual Research Achievements |
頭部装着型ディスプレイ（Head-Mounted Display: HMD）が社会に普及するようになり，ユーザがバーチャル環境に没入して様々な体験することが手軽にできるようになった．バーチャル環境において臨場感の高いコミュニケーションのためには，アバターへの身体動作の反映だけでなく，表情も反映することが不可欠である．HMD装着者の表情認識に関する先行研究では，組込型光センサから得られた低次元のデータを機械学習することで，表情を識別している．しかし，良好な識別精度を持った機械学習モデルの構築には，学習に用いる訓練データの量と質の確保が必要である．本研究では，訓練データを人工的に生成するアプローチである生成型学習を組込型光センサによる表情計測に適用することによって，有用性を検証することを目的としている．
研究期間の最終年次にあたる2022年度では，HMDを装着したユーザが目と頭部が多様な方向を向いている時の表情のデータセットを収集し，視線と頭部方向が組込型光センサによる表情識別に与える影響を検証した．この成果は国際学術誌IEEE Transactions on Visualization and Computer Graphicsに掲載された．また，ロボットアームの先端に取り付けた反射型光センサによる顔面形状の計測を基にした顔面への触覚提示による空間誘導手法を提案した．この成果は国際学術誌Frontiers in Computer Scienceに掲載された．さらに，HMD装着者の表情を学習したモデルに対して転移学習の手法であるFine Tuningを適用することで，少ない訓練データでも表情認識の精度が向上することを示した．この成果は国際学会Augmented Humans 2023でポスター発表を行った．
|
| Research Progress Status |
令和4年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
令和4年度が最終年度であるため、記入しない。
|
Report
(2 results)
Research Products
(6 results)
