• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

身体表現と声色からのマルチモーダル感情知覚プロセス 文化と発達的視点からの検討

研究課題

研究課題/領域番号 22K18160
研究種目

若手研究

配分区分基金
審査区分 小区分90030:認知科学関連
研究機関立命館大学 (2023)
東京女子大学 (2022)

研究代表者

山本 寿子  立命館大学, 総合心理学部, 助教 (90812579)

研究期間 (年度) 2022-04-01 – 2025-03-31
研究課題ステータス 交付 (2023年度)
配分額 *注記
4,680千円 (直接経費: 3,600千円、間接経費: 1,080千円)
2024年度: 1,300千円 (直接経費: 1,000千円、間接経費: 300千円)
2023年度: 1,560千円 (直接経費: 1,200千円、間接経費: 360千円)
2022年度: 1,820千円 (直接経費: 1,400千円、間接経費: 420千円)
キーワード身体表現 / 感情 / 視聴覚統合 / 声色 / 発達 / 多感覚知覚 / 身体 / 音声
研究開始時の研究の概要

我々は相手の顔を見たり声を聞いたりと,感情をマルチモーダルに読み取っている。従来の検討は顔と声の組み合わせからの読み取りに焦点が当てたものが多く,それに比べると身体表現と声からのマルチモーダルな感情知覚のプロセスは十分な検討がされていない。本研究では,身体と音声を含むマルチモーダルな感情表現のデータベースを作成する。さらに,顔と声からの感情知覚における文化差と発達的変化が明らかにされてきた背景をふまえ,身体表現と声からの感情知覚についても,その文化差と発達的変化を検討する。

研究実績の概要

我々は日常生活において、相手の姿を見ながら声を聞いたりなど、感情をマルチモーダルに読み取っている。従来の感情の読み取りの検討では、顔と声の組み合わせからの読み取りに焦点が当てたものが多かった。一方、本研究では、身体表現に注目をし、身体と声色からのマルチモーダル感情知覚に着目する。そして、そのプロセスを文化差と発達的変化の視点から検討し、マルチモーダル感情知覚モデルの構築を目指す。
この実現にあたって、日本人による身体表現を用いたデータセットの作成、マルチモーダル感情知覚様式の比較文化的検討、マルチモーダル感情知覚様式の発達的変化の検討の3つの側面を通して研究を進めている。
令和5年度は、第一に、日本人による感情表出を扱うにあたって、より感情を喚起しやすいシナリオを検討するべく予備調査を行った。その結果、欧米の身体表現データセットで用いられていた「怒り・恐怖・喜び・悲しみ」のシナリオは、日本人においても、それぞれの感情を喚起させるにあたって妥当なものであることが確認された。興味深いこととして、怒りの感情を喚起させるシナリオ候補のいくつかに対しては、日本人ではむしろ悲しみが喚起されるとした回答が多く見られるという結果も見られた。
第二に、身体表現データセットのもととなるデータの収録を行った。予備調査に基づき作成したシナリオを使用して、数十人の日本人モデルに身体によって怒り・恐怖・喜び・悲しみの感情を表現してもらい、その様子を収録した。

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

令和4年度中に終える予定であった身体表現データセットの編集作業は現在進行中である。これは、研究代表者の異動により、データセットのもととなる映像の収録環境の整備に時間を費やしたためである。ただし、編集作業の目途が立っており、令和6年度に勧める予定である文化比較にあたっての準備も進んでいることから、一部の遅れはあるものの、全体的にみればおおむね研究は順調に進んでいると言える。

今後の研究の推進方策

第一に、これまでに収録した身体表現による感情表出データセットを編集してファイルとし、それらを刺激として使用した評定実験を行う予定である。第二に、これを刺激として用いた文化比較研究を行う予定である。

報告書

(2件)
  • 2023 実施状況報告書
  • 2022 実施状況報告書
  • 研究成果

    (5件)

すべて 2023 2022

すべて 学会発表 (5件) (うち国際学会 1件、 招待講演 1件)

  • [学会発表] アンドロイドロボットによる身体・音声表現からの高次感情の知覚2023

    • 著者名/発表者名
      山本寿子・小川浩平・窪田智徳・勝間萌衣・山﨑美鈴・港隆史・石黒浩・田中章浩
    • 学会等名
      日本認知科学会第40回大会
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] Immigration Modulates Audiovisual Emotion Integration in Adults: The Effect of the Host Culture and Migration itself2023

    • 著者名/発表者名
      Nakamura, A. K., Yamamoto, H. W., & Tanaka, A.
    • 学会等名
      The 21st International Multisensory Research Forum
    • 関連する報告書
      2023 実施状況報告書
    • 国際学会
  • [学会発表] 情動音声理解の発達ーいかにして我々は棒読みが気になるようになるのかー2023

    • 著者名/発表者名
      山本寿子
    • 学会等名
      日本音響学会第150回(2023年秋季)研究発表会
    • 関連する報告書
      2023 実施状況報告書
    • 招待講演
  • [学会発表] 発達心理学の研究にオンラインツールGorilla.scを導入する試み2022

    • 著者名/発表者名
      山本寿子
    • 学会等名
      日本心理学会第86回大会
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] 身体と声色からの視聴覚感情知覚の発達的変化2022

    • 著者名/発表者名
      山本寿子・田中章浩
    • 学会等名
      日本心理学会第86回大会
    • 関連する報告書
      2022 実施状況報告書

URL: 

公開日: 2022-04-19   更新日: 2024-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi