多人数を対象とする遠隔授業でのノンバーバルコミュニケーションを用いた学習支援

• Project/Area Number: 23K02582
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 09060:Special needs education-related
• Research Institution: National Institute of Technology, Kumamoto College
• Principal Investigator: 柴里 弘毅 熊本高等専門学校, 電子情報システム工学系AEグループ, 教授 (60259968)
• Project Period (FY): 2023-04-01 – 2027-03-31
• Project Status: Granted (Fiscal Year 2023)
• Budget Amount: ¥4,810,000 (Direct Cost: ¥3,700,000、Indirect Cost: ¥1,110,000); Fiscal Year 2026: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000); Fiscal Year 2025: ¥130,000 (Direct Cost: ¥100,000、Indirect Cost: ¥30,000); Fiscal Year 2024: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000); Fiscal Year 2023: ¥2,210,000 (Direct Cost: ¥1,700,000、Indirect Cost: ¥510,000)
• Keywords: 特別支援教育 / アシスティブテクノロジー / 機械学習 / 視線推定 / 感情推定

Outline of Research at the Start

学習困難な学生の支援を目的として，遠隔授業における画面注視領域推定に特化した独自のデータセットの作成に着手する．また，深層学習による視線領域推定では，複数の学習モデルを用いて比較・検討する．表情やしぐさ，視線などの自然表出するデータをもとに，感情のカテゴライズを行う計画である．
遠隔授業では多人数を対象とするため顔を見て話すことができず，表情や態度など言語を伴わないノンバーバルコミュニケーションが欠如すると考えられる．言語以外の情報を補完・提示する新たなヒューマンインタフェースの考案に挑戦する．