2023 Fiscal Year Annual Research Report
視線情報および心情推定モデルを用いた文章に対する心情提示手法の開発
| Project/Area Number |
23H05147
|
|---|
| Research Institution | Akita University |
|---|
Principal Investigator |
伊藤 悠大 秋田大学, 理工学研究科, 技術職員
|
|---|
| Project Period (FY) |
2023-04-01 – 2024-03-31
|
| Keywords | 顔表情 / 機械学習 / 黙読 |
|---|
| Outline of Annual Research Achievements |
目的:本研究では，文字に対する心情情報の追加を目的として，機械学習を用いた心情推定モデルの作成手法に関する研究を行った．具体的には，(1)文章黙読時における難読顔表情を推定可能なモデルを構築するため，機械学習モデルを複数種類作成し，比較を行った．さらに，(2)着目文字の検出に使用する視線情報の追跡精度改善を目的とした補正手法を検証した．
検討:使用したデータは，Webカメラを用いて取得した文章黙読中の被験者の顔動画像およびアイトラッカーを用いて取得した視線情報である．検討(1)において比較したモデルはそれぞれ，BiLSTM, POSTER, POSTER-LSTMの3種類である．BiLSTMは，InsightFaceを用いて検出された顔特徴点の時系列変化をBiLSTM機械学習モデルに学習させたモデルである．POSTERは，顔画像1枚に映った人物の顔表情を分類可能な機械学習モデルである．POSTER-LSTMは，POSTERから抽出される特徴量の時系列変化をLSTM機械学習モデルに入力し，判別を行うモデルであり，本研究で提案するモデルである．検討(2)においては，これまでに提案した射影変換に基づく視線情報の補正手法が，より行数が多く長文な文章 (36行の文章)に対しても有効であるか検証するため，補正に伴う難読文字の検出精度向上が認められるか検討を行った．
結果：検討(1)においては，提案するPOSTER-LSTMが最も高い精度を示した．POSTER-LSTMは他の2モデルと異なり，動画像そのものを学習可能であったため，難読顔表情の検出に最も有用である可能性が示された．検討(2)においては，提案する視線情報を用いることで，難読文字検出における精度の向上が認められ，補正手法が長文に対しても有効である可能性が示された．
|
