視線情報および心情推定モデルを用いた文章に対する心情提示手法の開発

2023 Fiscal Year Final Research Report

• Project/Area Number: 23H05147
• Research Category: Grant-in-Aid for Encouragement of Scientists
• Allocation Type: Single-year Grants
• Review Section: 1200:Educational technology-related
• Research Institution: Akita University
• Principal Investigator: Ito Yudai 秋田大学, 理工学研究科, 技術職員
• Project Period (FY): 2023-04-01 – 2024-03-31
• Keywords: 顔表情 / 黙読 / 日本語文章 / 機械学習 / ViT / アイトラッキング

Outline of Final Research Achievements

文字に対する心情情報の追加を目的として，機械学習を用いた心情推定モデルの作成手法に関する研究を行った．具体的には，黙読中の文章が読みづらいと感じた読者の顔表情(難読顔表情)に着目し，難読顔表情を推定可能なモデルを提案した．既存の顔表情推定手法を含め3種類の手法を比較した結果，画像の時系列変化を考慮可能な，提案するPOSTER-LSTMモデルが最も高い精度を示し，難読顔表情の検出に有用である可能性が示された．さらに，視線情報の補正手法に関する検討を行った．検討の結果，提案する視線情報の補正手法が長文読解時における難読文字検出精度の向上に有用な可能性があることを明らかにした．

Free Research Field

情報工学

Academic Significance and Societal Importance of the Research Achievements

業務や授業のオンライン化に伴い，円滑なコミュニケーションが必要とされている．例えば，教員がオンライン上で学生の書いた文章を校閲する場合がある．この場合，文章の読み易さをメールの文面などで逐一指摘することは容易ではない．一方，提案手法は，読みづらいという感情の推定，およびその対象となった文字の検出において有効性が示された．このため，提案手法を用いることで，教員が文章に対して抱いた読みづらいという心情を検出し，学生に対して修正箇所を自動的に提示できる可能性が示された．この技術を応用することで，学校や企業などにおける業務の効率化や円滑なコミュニケーションに寄与すると考える．