• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

身体表現と声色からのマルチモーダル感情知覚プロセス 文化と発達的視点からの検討

Research Project

Project/Area Number 22K18160
Research Category

Grant-in-Aid for Early-Career Scientists

Allocation TypeMulti-year Fund
Review Section Basic Section 90030:Cognitive science-related
Research InstitutionRitsumeikan University (2023)
Tokyo Woman's Christian University (2022)

Principal Investigator

山本 寿子  立命館大学, 総合心理学部, 助教 (90812579)

Project Period (FY) 2022-04-01 – 2025-03-31
Project Status Granted (Fiscal Year 2023)
Budget Amount *help
¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000)
Fiscal Year 2024: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2023: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2022: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
Keywords身体表現 / 感情 / 視聴覚統合 / 声色 / 発達 / 多感覚知覚 / 身体 / 音声
Outline of Research at the Start

我々は相手の顔を見たり声を聞いたりと,感情をマルチモーダルに読み取っている。従来の検討は顔と声の組み合わせからの読み取りに焦点が当てたものが多く,それに比べると身体表現と声からのマルチモーダルな感情知覚のプロセスは十分な検討がされていない。本研究では,身体と音声を含むマルチモーダルな感情表現のデータベースを作成する。さらに,顔と声からの感情知覚における文化差と発達的変化が明らかにされてきた背景をふまえ,身体表現と声からの感情知覚についても,その文化差と発達的変化を検討する。

Outline of Annual Research Achievements

我々は日常生活において、相手の姿を見ながら声を聞いたりなど、感情をマルチモーダルに読み取っている。従来の感情の読み取りの検討では、顔と声の組み合わせからの読み取りに焦点が当てたものが多かった。一方、本研究では、身体表現に注目をし、身体と声色からのマルチモーダル感情知覚に着目する。そして、そのプロセスを文化差と発達的変化の視点から検討し、マルチモーダル感情知覚モデルの構築を目指す。
この実現にあたって、日本人による身体表現を用いたデータセットの作成、マルチモーダル感情知覚様式の比較文化的検討、マルチモーダル感情知覚様式の発達的変化の検討の3つの側面を通して研究を進めている。
令和5年度は、第一に、日本人による感情表出を扱うにあたって、より感情を喚起しやすいシナリオを検討するべく予備調査を行った。その結果、欧米の身体表現データセットで用いられていた「怒り・恐怖・喜び・悲しみ」のシナリオは、日本人においても、それぞれの感情を喚起させるにあたって妥当なものであることが確認された。興味深いこととして、怒りの感情を喚起させるシナリオ候補のいくつかに対しては、日本人ではむしろ悲しみが喚起されるとした回答が多く見られるという結果も見られた。
第二に、身体表現データセットのもととなるデータの収録を行った。予備調査に基づき作成したシナリオを使用して、数十人の日本人モデルに身体によって怒り・恐怖・喜び・悲しみの感情を表現してもらい、その様子を収録した。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

令和4年度中に終える予定であった身体表現データセットの編集作業は現在進行中である。これは、研究代表者の異動により、データセットのもととなる映像の収録環境の整備に時間を費やしたためである。ただし、編集作業の目途が立っており、令和6年度に勧める予定である文化比較にあたっての準備も進んでいることから、一部の遅れはあるものの、全体的にみればおおむね研究は順調に進んでいると言える。

Strategy for Future Research Activity

第一に、これまでに収録した身体表現による感情表出データセットを編集してファイルとし、それらを刺激として使用した評定実験を行う予定である。第二に、これを刺激として用いた文化比較研究を行う予定である。

Report

(2 results)
  • 2023 Research-status Report
  • 2022 Research-status Report
  • Research Products

    (5 results)

All 2023 2022

All Presentation (5 results) (of which Int'l Joint Research: 1 results,  Invited: 1 results)

  • [Presentation] アンドロイドロボットによる身体・音声表現からの高次感情の知覚2023

    • Author(s)
      山本寿子・小川浩平・窪田智徳・勝間萌衣・山﨑美鈴・港隆史・石黒浩・田中章浩
    • Organizer
      日本認知科学会第40回大会
    • Related Report
      2023 Research-status Report
  • [Presentation] Immigration Modulates Audiovisual Emotion Integration in Adults: The Effect of the Host Culture and Migration itself2023

    • Author(s)
      Nakamura, A. K., Yamamoto, H. W., & Tanaka, A.
    • Organizer
      The 21st International Multisensory Research Forum
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research
  • [Presentation] 情動音声理解の発達ーいかにして我々は棒読みが気になるようになるのかー2023

    • Author(s)
      山本寿子
    • Organizer
      日本音響学会第150回(2023年秋季)研究発表会
    • Related Report
      2023 Research-status Report
    • Invited
  • [Presentation] 発達心理学の研究にオンラインツールGorilla.scを導入する試み2022

    • Author(s)
      山本寿子
    • Organizer
      日本心理学会第86回大会
    • Related Report
      2022 Research-status Report
  • [Presentation] 身体と声色からの視聴覚感情知覚の発達的変化2022

    • Author(s)
      山本寿子・田中章浩
    • Organizer
      日本心理学会第86回大会
    • Related Report
      2022 Research-status Report

URL: 

Published: 2022-04-19   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi