|
最終年度は、昨年度提案した頭部運動と顔表情の相乗機能の認識モデルを発展させて、複数モダリティに跨って分布する多数の機能間の共起・連携の関係性を解明するための統一的な分析枠組みとして、「相乗機能スペクトラム解析法」を提案した。これは頭部と顔表情それぞれの機能スペクトラムの連結ベクトルに対して、非負値行列分解を用いて、対話において代表的かつ互いに異なる機能側面を表現する基底ベクトルを求め、その基底の張る機能空間上の軌跡として、相乗機能のスペクトラムの低次元表現を得るという方法である。また、新たな非言語モダリティとして、「視線」に着目し、視線機能コーパスを構築し、複数モダリティの非言語行動から視線の機能を認識する深層学習モデルを提案した。さらに対話者の主観的印象の予測のタスクにおいて、昨年度提案した頭部運動機能に基づいて、印象形成に関与する行動とその生起時刻を予測・説明するモデルを拡張し、言語情報を取り入れることで、より印象予測の性能を向上させるとともに、言語内容により、印象形成の要因を説明することにも成功した。
最後に本研究では、研究期間全体を通じて、人の対話において表出される多様かつ曖昧な非言語行動を定量的に解析・理解するため、これらの行動がもつ意味や機能の分布強度を表す『非言語機能スペクトラム』という新概念を提唱し、これらの機能のスペクトラムを推定する方法を提案し、さらに推定結果に基づいて、対話者の主観の予測を行う方法を開発してきた。従来、その曖昧性・多様性故に計算機による定量的な扱いが困難であった人の非言語行動に対して、本研究ではその機能的側面に着目し、複数のモダリティを介して生じる多数の機能を統一的に表現・分析・認識することが可能な計算基盤を構築することに成功した。この成果は、今後、社会的知性を備えたより高度な人工知能を構築する上で必須の基盤技術として活用が期待される。
|
