2022 Fiscal Year Research-status Report
マルチモーダル非言語行動の機能スペクトラム解析に向けた計算基盤の構築
| Project/Area Number |
21K12011
|
|---|
| Research Institution | Yokohama National University |
|---|
Principal Investigator |
大塚 和弘 横浜国立大学, 大学院工学研究院, 准教授 (30396197)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | 対話 / 非言語コミュニケーション / 社会的信号処理 / 深層学習 / マルチモーダル |
|---|
| Outline of Annual Research Achievements |
人の対話において表出される多様かつ曖昧な非言語行動を定量的に解析・理解するため、これらの行動がもつ意味や機能の分布強度を表す『非言語機能スペクトラム』という新概念を提唱し、これらの機能のスペクトラムを推定する方法を提案し、さらに推定結果に基づいて、対話者の主観の予測を行う方法を考案した。
前年度までに構築した頭部運動機能の認識モデルは、時刻ごとにその機能の有無を2値として出力するモデルであったのに対して、当該年度は、機能の表出・知覚の強度を連続値として表現し、推定する深層回帰モデルを開発した。これにより非言語機能スペクトラムの推定分解能を向上させることができた。また、対話者の主観的印象を予測する課題については、前年度に構築した頭部運動機能に基づく予測モデルを拡張して、印象形成に寄与した行動だけではなく、その行動が生起した時刻を細かく特定する印象予測・説明モデルを構築した。このモデルは、印象予測に対する各特徴量の貢献の度合いを時間軸上に展開をした分布を求めるという定式化に顕著な新規性が認められる。特定された時刻に対するケーススタディや定量評価を行い、その妥当性を確認した。さらに頭部運動の特徴に加えて、言語特徴を導入した印象予測・説明モデルも構築し、対話の議題やタスクに応じて、言語特徴を含めたモデルがより高い性能を発揮しうることも確認した。さらに昨年、構築した顔表情の機能を認識するモデル、及び、頭部運動と顔表情の相乗機能を認識するモデルそれぞれの出力結果を利用し、これらの機能に基づく特徴量を加えた印象の予測モデルも構築した。結果、印象の項目に応じて、顔表情の機能や相乗機能が予測に寄与することを分析により明らかにした。
以上のように当該年度は更に非言語機能スペクトラムの計算基盤の構築を進め、研究が大きく進捗した。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
対話者の表出する行動の意味を解析・理解するため『非言語機能スペクトラム』という新しい表現法を導入し、計算基盤の構築を進めている。当初の計画に対して以下の点において、計画を上回る進捗が得られた。
まず、非言語機能スペクトラムを用いた主観の予測において、対話全体に対する印象の予測という当初の問題設定を超えて、対話中のより細かい時間スケールに着目し、印象予測に関与した行動とその生起時刻を推定するという問題を設定し、新たな印象予測・説明モデルを構築した点において、計画以上の成果が得られたと考えられる。
また、本課題では、非言語行動を中心的な対象としているが、対話者の非言語行動と言語との間には深い関係性があるため、非言語機能に加えて、言語に関わる特徴を追加した印象予測モデルを構築し、対話のタスクに依存して、言語と非言語の両方を用いることが、より印象の予測において重要であることを確認した。この点も当初の想定を上回る成果と言える。
さらに本課題では、頭部運動や顔表情といった身体の動きを通じて表出され、また、相手に対して、視覚を通じて伝達されるモダリティを中心的な対象としているが、これに加えて、聞き手が短い発話によって反応を返す「相槌」も検証の対象に加えて、その機能を定義し、音声に含まれる韻律特徴から認識するモデル、並びに、相槌と頭部運動との相乗機能を認識するモデルを構築し、その認識可能性を見出した点においても、計画以上の進展が見られたと言える。
|
| Strategy for Future Research Activity |
最終年度は、前年度までに提案した頭部運動と顔表情との相乗機能の導出法、及び、推定法を改良・拡張し、複数モダリティにわたって分布する複数の非言語機能を統一的に表現・分析する枠組みの構築に取り組む。従来、頭部運動と顔表情との相乗機能の定義において、頭部と顔それぞれの機能のペアにおける共起頻度に着目していた。これをより多くの機能間における共起関係や相乗作用を捉えるための分析法に拡張する。
また、非言語機能スペクトルを用いた対話者の主観的印象の予測において、従来、用いられていなかった、複数の人物間の相互作用を特徴として取り入れたモデルを開発する。それにより、予測対象である人物の行動のみに基づく従来モデルに比べて、より高い予測性能を発揮するモデルを構築する。
|
| Causes of Carryover |
継続するコロナ禍への対応として、当該年度は学術論文の執筆・投稿に注力することとし、国際会議発表を次年度へ持ち越すこととしたため、そのための旅費の支出が抑えられた。また。計算資源もほぼ充足しており、追加の計算機購入も抑制されたため、物品費の支出も少なくなった。次年度は、今年度投稿した論文の掲載料や、国際会議にて論文発表を行うための参加費・出張旅費として支出する計画を立てている。
|
