|
平成３０年度は，下記研究課題について実施した．
ウェアラブルセンシングと音声・動画解析を組み合わせた観光客のマルチモーダル心理状態推定手法の検討 -- 従来の参加型センシングで取り組まれてきたセンサによる直接的な環境センシングでは測定できない環境情報（例えば，ある場所で人が抱く「感情」や「雰囲気」）を収集するため，ウェアラブルデバイスやスマートフォンカメラを用いることにより都市に存在する人々の様子を観察することによる間接的な環境情報の観測手法を検討した．具体的なセンシングタスクとして，観光客が観光中に抱く感情や満足感といった「心理状態」の推定に取り組んだ．観光中に観光客が無意識的に行う仕草（視線，頭部，身体の動きなど）や表情・声色を継続的に収集するシステムを構築し，得られたデータから抽出された特徴と被験者アンケートに基づく正解ラベルを用い心理状態推定モデルを構築した．ドイツ・日本の２カ国で合計２２名の被験者を募って実施した実証実験により，感情推定（３クラス分類タスク）に関しては約５０％のUAR（Unweighted Average Recall），満足度推定（７段階回帰タスク）に関しては約1.1のMAE（Mean Absolute Error）で推定可能であることが示された．また，被験者の属性（国籍や文化圏、使用言語）ごとの詳細な分析を通じて，属性による仕草の表出の仕方には違いが存在し，心理状態推定への寄与の度合いに差が生じることを明らかにした．
|
