2022 Fiscal Year Research-status Report

身体表現と声色からのマルチモーダル感情知覚プロセス　文化と発達的視点からの検討

Research Project

Project/Area Number	22K18160
Research Institution	Tokyo Woman's Christian University
Principal Investigator	山本寿子東京女子大学, 現代教養学部, 研究員 (90812579)
Project Period (FY)	2022-04-01 – 2025-03-31
Keywords	身体表現 / 感情 / 視聴覚統合 / 声色 / 発達
Outline of Annual Research Achievements	我々は相手の顔を見たり声を聞いたりと、感情をマルチモーダルに読み取っている。従来の検討は顔と声の組み合わせからの読み取りに焦点が当てたものが多かったが、本研究では、身体表現と声色からのマルチモーダル感情知覚に焦点を当て、そのプロセスを文化差と発達的変化の視点から検討する。そして、マルチモーダル感情知覚モデルの構築を目指す。この実現にあたって、日本人による身体表現を用いたマルチモーダルデータベースの作成、マルチモーダル感情知覚様式の比較文化的検討、マルチモーダル感情知覚様式の発達的変化の検討の3つの側面から研究を行うものである。令和4年度は、データベース作成に向けての計画および撮影の準備と、マルチモーダル感情知覚様式の発達的変化にかかわる検討とデータの解析を行った。その結果、身体表現と声色の組み合わせからのマルチモーダル感情知覚は、顔と声の組み合わせのときには視覚情報から聴覚情報の方向に重視する手がかりがシフトするのに対して、身体表現と声の組み合わせではその逆に、聴覚情報から視覚情報に重視する手がかりがシフトすることが明らかとなった。また、身体表現を行うアクターの文化による影響も大きく、アクターが内集団であるほうが身体表現が伝わりやすいことも示唆された。さらに、身体表現を静止画にすると年齢を問わず一貫して声の影響が強まるが、身体表現が動画のときには静止画よりも声の影響が弱まるというように、感情知覚における時間的情報の重要性も示された。
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason 当初はデータベースの作成を予定していたが、年度中に研究代表者の異動が決まったため、異動先での刺激撮影に向けて、準備と実験データの分析・刺激作成の下調べを行った。これらの順序の変更は効率のよい研究進展に向けてのものであり、計画は順調に進展していると言える。
Strategy for Future Research Activity	第一に、日本において、身体表現と音声によるマルチモーダル感情表出データベースの作成を行う予定である。日本人モデルに表情・身体・音声（またその他もあれば自由に）で感情を表出させ、その様子を収録したものを編集して、動画・静止画・音声として使えるマルチモーダルな刺激を作成する。第二に、身体表現と音声からのマルチモーダル感情知覚の文化比較を行う準備を行う予定である。
Causes of Carryover	刺激の撮影には時間を要し、同じ場所での撮影が望ましいが、年度中に研究代表者の異動が決まったため、異動先での刺激撮影を検討することにした。これまでの予備データ・実験データの分析・刺激作成の下調べに切り替えたために、次年度使用額が生じた。令和5年度は、機材の購入（刺激の撮影のためのビデオカメラおよび録音機材、刺激編集作業のためのイヤホン・ヘッドホン・ディスプレイ）、刺激モデルおよび予備実験参加者への謝金に使用する予定である。