マルチモーダル非言語行動の機能スペクトラム解析に向けた計算基盤の構築

Research Project

Project/Area Number	21K12011
Research Category	Grant-in-Aid for Scientific Research (C)
Allocation Type	Multi-year Fund
Section	一般
Review Section	Basic Section 61030:Intelligent informatics-related
Research Institution	Yokohama National University
Principal Investigator	大塚和弘横浜国立大学, 大学院工学研究院, 准教授 (30396197)
Project Period (FY)	2021-04-01 – 2024-03-31
Project Status	Granted (Fiscal Year 2021)
Budget Amount *help	¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000) Fiscal Year 2023: ¥520,000 (Direct Cost: ¥400,000、Indirect Cost: ¥120,000) Fiscal Year 2022: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000) Fiscal Year 2021: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
Keywords	非言語コミュニケーション / 社会的信号処理 / マルチモーダルインタラクション
Outline of Research at the Start	人の対話において頭部運動や顔表情などの非言語行動は、本質的に曖昧で多様な意味や機能を持つ。これら曖昧性や多様性を含む非言語行動を定量的に解析・理解するため、非言語行動の意味や機能の分布強度を表す『非言語機能スペクトラム』という新概念を提唱する。非言語行動として、頭部運動と顔表情に注目し、これらの機能として、話し手のリズム取りや強調、思考、及び、聞き手の傾聴や思考、理解、肯定、感情表出などを対象とする。頭部姿勢と顔表情の時系列を入力し、非言語機能スペクトラムを出力する深層神経回路網を構築し、対話者の主観予測などへ適用することで、非言語機能スペクトラムの有用性を明らかにする。