身体表現と声色からのマルチモーダル感情知覚プロセス 文化と発達的視点からの検討
Project/Area Number |
22K18160
|
Research Category |
Grant-in-Aid for Early-Career Scientists
|
Allocation Type | Multi-year Fund |
Review Section |
Basic Section 90030:Cognitive science-related
|
Research Institution | Tokyo Woman's Christian University |
Principal Investigator |
山本 寿子 東京女子大学, 現代教養学部, 研究員 (90812579)
|
Project Period (FY) |
2022-04-01 – 2025-03-31
|
Project Status |
Granted (Fiscal Year 2022)
|
Budget Amount *help |
¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000)
Fiscal Year 2024: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2023: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2022: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
|
Keywords | 身体表現 / 感情 / 視聴覚統合 / 声色 / 発達 / 多感覚知覚 / 身体 / 音声 |
Outline of Research at the Start |
我々は相手の顔を見たり声を聞いたりと,感情をマルチモーダルに読み取っている。従来の検討は顔と声の組み合わせからの読み取りに焦点が当てたものが多く,それに比べると身体表現と声からのマルチモーダルな感情知覚のプロセスは十分な検討がされていない。本研究では,身体と音声を含むマルチモーダルな感情表現のデータベースを作成する。さらに,顔と声からの感情知覚における文化差と発達的変化が明らかにされてきた背景をふまえ,身体表現と声からの感情知覚についても,その文化差と発達的変化を検討する。
|
Outline of Annual Research Achievements |
我々は相手の顔を見たり声を聞いたりと、感情をマルチモーダルに読み取っている。従来の検討は顔と声の組み合わせからの読み取りに焦点が当てたものが多かったが、本研究では、身体表現と声色からのマルチモーダル感情知覚に焦点を当て、そのプロセスを文化差と発達的変化の視点から検討する。そして、マルチモーダル感情知覚モデルの構築を目指す。 この実現にあたって、日本人による身体表現を用いたマルチモーダルデータベースの作成、マルチモーダル感情知覚様式の比較文化的検討、マルチモーダル感情知覚様式の発達的変化の検討の3つの側面から研究を行うものである。 令和4年度は、データベース作成に向けての計画および撮影の準備と、マルチモーダル感情知覚様式の発達的変化にかかわる検討とデータの解析を行った。その結果、身体表現と声色の組み合わせからのマルチモーダル感情知覚は、顔と声の組み合わせのときには視覚情報から聴覚情報の方向に重視する手がかりがシフトするのに対して、身体表現と声の組み合わせではその逆に、聴覚情報から視覚情報に重視する手がかりがシフトすることが明らかとなった。また、身体表現を行うアクターの文化による影響も大きく、アクターが内集団であるほうが身体表現が伝わりやすいことも示唆された。さらに、身体表現を静止画にすると年齢を問わず一貫して声の影響が強まるが、身体表現が動画のときには静止画よりも声の影響が弱まるというように、感情知覚における時間的情報の重要性も示された。
|
Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初はデータベースの作成を予定していたが、年度中に研究代表者の異動が決まったため、異動先での刺激撮影に向けて、準備と実験データの分析・刺激作成の下調べを行った。これらの順序の変更は効率のよい研究進展に向けてのものであり、計画は順調に進展していると言える。
|
Strategy for Future Research Activity |
第一に、日本において、身体表現と音声によるマルチモーダル感情表出データベースの作成を行う予定である。日本人モデルに表情・身体・音声(またその他もあれば自由に)で感情を表出させ、その様子を収録したものを編集して、動画・静止画・音声として使えるマルチモーダルな刺激を作成する。 第二に、身体表現と音声からのマルチモーダル感情知覚の文化比較を行う準備を行う予定である。
|
Report
(1 results)
Research Products
(2 results)