Functional Spectrum Analysis for Exploring Multimodal Synergetic Interactions Via Interlocutors' Nonverbal Behaviors

Research Project

Project/Area Number	24K02998
Research Category	Grant-in-Aid for Scientific Research (B)
Allocation Type	Multi-year Fund
Section	一般
Review Section	Basic Section 61030:Intelligent informatics-related Basic Section 60030:Statistical science-related Sections That Are Subject to Joint Review: Basic Section60030:Statistical science-related , Basic Section61030:Intelligent informatics-related
Research Institution	Yokohama National University
Principal Investigator	大塚和弘横浜国立大学, 大学院工学研究院, 准教授 (30396197)
Project Period (FY)	2024-04-01 – 2027-03-31
Project Status	Granted (Fiscal Year 2024)
Budget Amount *help	¥18,460,000 (Direct Cost: ¥14,200,000、Indirect Cost: ¥4,260,000) Fiscal Year 2026: ¥3,380,000 (Direct Cost: ¥2,600,000、Indirect Cost: ¥780,000) Fiscal Year 2025: ¥7,540,000 (Direct Cost: ¥5,800,000、Indirect Cost: ¥1,740,000) Fiscal Year 2024: ¥7,540,000 (Direct Cost: ¥5,800,000、Indirect Cost: ¥1,740,000)
Keywords	会話 / 非言語行動 / 機械学習
Outline of Research at the Start	人の対話における非言語行動の機能を解明するための分析法を構築する。非言語行動として、頭部運動、顔表情、視線、相槌に着目し、機能として、話し掛け、強調、反応確認、傾聴、思考、理解、同意等を対象とする。まず、対話収録を行い、機能のラベルを付与したコーパスを構築する。次に機能の分布強度を表す「機能スペクトラム」に対して、非負値行列分解等を用いたスペクトラム分解を行い、モダリティ間・機能間の関連性を表現する「相乗機能空間」を構成する。さらに頭部運動や顔表情などのデータより相乗機能空間上のスペクトラムを推定する深層学習モデルを構築し、更にその結果から対話者の内面感情の予測を行うモデルを構築・検証する。