2021 Fiscal Year Research-status Report
マルチモーダル非言語行動の機能スペクトラム解析に向けた計算基盤の構築
| Project/Area Number |
21K12011
|
|---|
| Research Institution | Yokohama National University |
|---|
Principal Investigator |
大塚 和弘 横浜国立大学, 大学院工学研究院, 准教授 (30396197)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | 非言語コミュニケーション / 社会的信号処理 / 深層学習 |
|---|
| Outline of Annual Research Achievements |
人の対話において表出される多様かつ曖昧な非言語行動を定量的に解析・理解するため、これらの行動がもつ意味や機能の分布強度を表す『非言語機能スペクトラム』という新概念を提唱した。特に本研究では、非言語行動の機能として、話し手のリズム取りや強調、思考、及び、聞き手の傾聴や思考、理解、肯定、感情表出などを対象とする。
まず、頭部運動に着目し、頭部姿勢の時系列から頭部運動の機能を認識する深層神経回路網を提案した。具体的には既存の畳み込みニューラルネット（CNN）を起点として、新たにI/DeF機構と呼ぶ機構をCNNに付加することで、認識性能向上を達成した。また、頭部運動の機能スペクトラムに基づき対話者の主観的印象を予測するモデルを提案した。このモデルは、複数の頭部運動機能の出現頻度や機能間の相対頻度などを特徴量し、対話者本人が感じる印象（雰囲気の良さや楽しさ）のスコアを予測の対象とする。頭部運動の運動学的な特徴量のみを用いたモデルと比較して、機能スペクトラムを特徴量とする提案モデルの予測性能がより優れることを確認した。
また、頭部運動の機能スペクトラム推定を個人から対話者間に拡張し、話し手と聞き手の間の相互作用の機能を定義し、これを認識する深層神経回路網を提案した。これにより話し手の話し掛けに対する聞き手の相槌などの対話者間の相互作用が認識できる可能性を確認した。
さらに、非言語行動として顔表情を対象として、顔表情が持つ複数の機能を認識する深層神経回路網の構築を進めた。また、顔表情と頭部運動が連携して発揮する相乗機能を認識する深層学習モデルの構築を行った。これにより、頭部運動や顔表情各々単独では捉えられないより多様な対話者の態度や内観が捉えられる可能性が示唆された。
以上、対話における非言語行動がもつ様々な意味や機能を包含した『非言語機能スペクトラム』の計算基盤を構築した。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
人の対話において表出される多様かつ曖昧な非言語行動を定量的に解析・理解するため、これらの行動がもつ意味や機能の分布強度を表す『非言語機能スペクトラム』という新概念を提唱した。
まず、頭部運動に着目し、頭部姿勢の時系列から頭部運動の機能を認識する深層神経回路網を提案した。具体的には既存の畳み込みニューラルネット（CNN）を起点として、新たにI/DeF機構と呼ぶ機構をCNNの入力部に付加することで、認識性能向上を達成した。また、頭部運動の機能スペクトラムに基づき対話者の主観的印象を予測するモデルを提案した。このモデルは、複数の頭部運動機能の出現頻度や機能間の相対頻度などを特徴量し、対話者本人が感じる印象（雰囲気の良さや楽しさ）のスコアを予測の対象とする。頭部運動の運動学的な特徴量のみを用いたモデルと比較して、機能スペクトラムを特徴量とする提案モデルの予測性能がより優れることを確認した。
また、一部計画を前倒しし、頭部運動の機能スペクトラム推定を個人から対話者間に拡張し、話し手と聞き手の間の相互作用の機能を定義し、これを認識する深層神経回路網を提案した。これにより話し手の話し掛けに対する聞き手の相槌など対話者間の相互作用が認識できる可能性を確認した。
さらに、一部計画を前倒しし、非言語行動として顔表情を対象として、顔表情が持つ複数の機能を認識する深層神経回路網の構築を進めた。また、顔表情と頭部運動が連携して発揮する相乗機能を定義し、その認識を行う深層学習モデルの構築を進めている。これにより、頭部運動や顔表情各々単独では捉えられないより多様な対話者の態度や内観が記述できる可能性が示唆された。
以上、対話における非言語行動がもつ様々な意味や機能を包含した『非言語機能スペクトラム』の計算基盤の構築を一部計画より前倒しで進めている。
|
| Strategy for Future Research Activity |
前年度に引き続き『非言語機能スペクトラム』の計算基盤の構築を進める。
まず、頭部運動の機能スペクトラムの強度値や曖昧性を推定する深層回帰モデルの開発を行う。前年度までに開発したモデルでは、機能の有無を2値として出力するに留まっていたのに対して、新たに開発するモデルでは、複数の観察者が知覚する機能の存在強度を連続値として出力することを目的する。このモデルにより、非言語機能の曖昧性を定量化でき、より豊穣かつ繊細な対話者の行動・内面を捉えることができると期待される。
さらに、前年度に構築した顔表情の機能、及び、頭部運動と顔表情の相乗機能スペクトラムを推定するモデルを発展させ、対話者の主観的印象を予測するモデルを構築する。前年度に提案した頭部運動機能に基づく印象予測モデルに対して、顔表情がもつ豊富な感情表出機能やコミュニケーション機能、及び、頭部運動と顔表情が連携して発揮する相乗機能に基づく特徴量を追加することで、対話者の印象予測の性能向上が期待される。
以上、さらに『非言語機能スペクトラム』の計算基盤構築を進める予定である。
|
| Causes of Carryover |
新型コロナ感染症の対策として、国際会議がオンライン開催となり、出張旅費が不要となった。また、会議参加費も低額となった。謝金に関しては、英文校閲の費用がその他の内訳に変更となったため残額が生じた。これらに理由により次年の使用額が生じた。
今後の計画として、ジャーナル論文誌への掲載費用（R4年度に3本から5本を想定）、学会発表のための旅費・参加費、及び、計算機・周辺機器への使用を想定している。
|
