| Project/Area Number |
21K12011
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61030:Intelligent informatics-related
|
|---|
| Research Institution | Yokohama National University |
|---|
Principal Investigator |
Otsuka Kazuhiro 横浜国立大学, 大学院工学研究院, 准教授 (30396197)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Project Status |
Completed (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2023: ¥520,000 (Direct Cost: ¥400,000、Indirect Cost: ¥120,000)
Fiscal Year 2022: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
Fiscal Year 2021: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
|
|---|
| Keywords | 対話 / 非言語コミュニケーション / マルチモーダル / 社会的信号処理 / 機械学習 / 深層学習 / マルチモーダルインタラクション |
|---|
| Outline of Research at the Start |
人の対話において頭部運動や顔表情などの非言語行動は、本質的に曖昧で多様な意味や機能を持つ。これら曖昧性や多様性を含む非言語行動を定量的に解析・理解するため、非言語行動の意味や機能の分布強度を表す『非言語機能スペクトラム』という新概念を提唱する。非言語行動として、頭部運動と顔表情に注目し、これらの機能として、話し手のリズム取りや強調、思考、及び、聞き手の傾聴や思考、理解、肯定、感情表出などを対象とする。頭部姿勢と顔表情の時系列を入力し、非言語機能スペクトラムを出力する深層神経回路網を構築し、対話者の主観予測などへ適用することで、非言語機能スペクトラムの有用性を明らかにする。
|
| Outline of Final Research Achievements |
Although nonverbal behavior plays important roles in human conversations, it has been difficult to analyze them quantitatively due to their ambiguity and diversity. To analyze such nonverbal behaviors quantitatively, this research proposed a new concept of "nonverbal functional spectrum," representing the distribution of perceived intensity of nonverbal behavior's functions, and constructed a unified computational framework. Focusing on head movement, facial expression, eye gaze, and Aizuchi as non-verbal modalities, we constructed machine-learning models that automatically estimate the occurrence of each function for each modality from observed information, such as the interlocutor's facial and body movements and speech signals. We also developed a method for predicting and explaining the interlocutor's subjective impressions based on the estimated functional spectrum.
|
| Academic Significance and Societal Importance of the Research Achievements |
本研究では、人のコミュニケーションにおいて重要な役割を果たす、複数の非言語モダリティを介して生じる多数の機能を統一的に表現・分析・認識することが可能な計算基盤を構築した。この計算基盤は、人の繊細かつ複雑で、極めて多様性に富んだ感情や意図の表出・交換の過程を定量的に解明することに貢献すると期待される。さらに将来的には、実社会において、人の気持ちに寄り添い、人を支援し、協業することが可能な人工社会知能（Artificial Social Intelligence）を構築するための基盤技術として活用されると考えられる。
|
