• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

Speech-laughの発生機序の解明

研究課題

研究課題/領域番号 22K18477
研究種目

挑戦的研究(萌芽)

配分区分基金
審査区分 中区分2:文学、言語学およびその関連分野
研究機関千葉工業大学

研究代表者

有本 泰子  千葉工業大学, 情報科学部, 准教授 (60586957)

研究分担者 森 大毅  宇都宮大学, 工学部, 准教授 (10302184)
研究期間 (年度) 2022-06-30 – 2025-03-31
研究課題ステータス 交付 (2023年度)
配分額 *注記
6,240千円 (直接経費: 4,800千円、間接経費: 1,440千円)
2024年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円)
2023年度: 2,340千円 (直接経費: 1,800千円、間接経費: 540千円)
2022年度: 2,470千円 (直接経費: 1,900千円、間接経費: 570千円)
キーワードspeech-laugh / 音響分析 / フォルマント周波数 / ケプストラム分析 / アノテーション / コーパス / 分節音 / Speech-laugh
研究開始時の研究の概要

Speech-laughとは,発話中に肺からの突発的な呼気流により生じるしゃべりながらの笑い声のことで,声の震えや気息性のある声質を伴って発声される現象である。本研究は,どのような声道形状であるときにspeech-laughが生じやすくなるかを明らかにするため,音声対話コーパスを使用してspeech-laughの冒頭の音素がどのような調音であるのかを音響音声学的に検証する。また,speech-laughの発生機序に準じてその発生タイミングを操作した合成音声を作成し,その発生タイミングがどの程度speech-laughらしさに寄与するのか検証する。

研究実績の概要

speech-laughの発生機序を明らかにすることを目的とし,speech-laugh 発生時の声道特性を表す二種類の特徴量を用いてspeech-laugh冒頭と発話に含まれる音素の音響特性の違いを検証した.フォルマント分析の結果,/a/, /e/, /o/の母音はspeech-laugh 冒頭の方が発話に含まれる音素の方がF1 およびF2 の値が大きかった.メルケプストラムを使用した一般化線形混合モデルによる分析の結果,低次元のケプストラム係数が発話とspeech-laugh を区別することに貢献することが分かった.
また,これまでに行なってきた音声学的分析に関しても,日常会話コーパス(CEJC)を利用して対話ドメインを拡張し,更なる分析を実施した。463 名(延べ人数)の会議会合場面および雑談対話場面のspeech-laugh ラベリング分節音ラベリング(MFA 使用後,手修正)を行ったのち,speech-laugh冒頭の音素を対象に統計的仮説検定を用いた分析を行った。その結果,歯茎破裂音sでspeech-laughが始まることが多いこと,雑談場面では歯茎付近の狭め(/d/, /t/, /z/, /n/)で,会議会合場面では声門(/h/) や両唇(/p/, /h/) での狭めでspeech-laughが生じやすいことが分かった。
本研究に関連する成果として,査読付き学術雑誌で2件の論文を発表した。それ以外にも,査読付き国際会議で2件,国内学会で招待講演を2件,国内学会で10件の発表がある。また,国内で発表した3件の研究に対して,その研究内容および独創性が評価され学会より賞を授与された。

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

言語普遍性の検証を可能とするため,日本語とそれ以外の対話コーパスを対象とする予定であったが,外国語の自発対話音声を入手することが困難であり,実現できていない。2022年度は,その分を年代を拡張して,20代から70代までのspeech-laughラベリングを実施した。2023年度は,現象のドメイン・依存性を確認するため,419名の大規模な音声資料を利用した分析を実施した。また,音響分析も着実に実施しており,成果を出している。そのため,概ね順調に進展している。

今後の研究の推進方策

Speech-laugh の発生規則がspeech-laugh らしさに影響しているかどうかを検証するために,speech-laugh合成を実施する。合成したspeech-laughに対し,主観評価実験を実施して,その自然性を評価する。

報告書

(2件)
  • 2023 実施状況報告書
  • 2022 実施状況報告書
  • 研究成果

    (33件)

すべて 2025 2024 2023 2022

すべて 雑誌論文 (14件) (うち査読あり 11件、 オープンアクセス 13件) 学会発表 (19件) (うち招待講演 2件)

  • [雑誌論文] Determining the base frequency of the F0 contour generation model for the diverse expression of speech,” Acoustical Science and Technology2025

    • 著者名/発表者名
      Yoshiko Arimoto, Yasuo Horiuchi, Sumio Ohno
    • 雑誌名

      Acoustical Science and Technology

      巻: 1

    • 関連する報告書
      2023 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Acoustic differences between laughter and screams in spontaneous dialog2024

    • 著者名/発表者名
      Matsuda Takuto、Arimoto Yoshiko
    • 雑誌名

      Acoustical Science and Technology

      巻: 45 号: 3 ページ: 135-146

    • DOI

      10.1250/ast.e23.58

    • ISSN
      0369-4232, 1346-3969, 1347-5177
    • 年月日
      2024-05-01
    • 関連する報告書
      2023 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Phonetic analysis on speech-laugh occurrence in spontaneous gaming dialog2023

    • 著者名/発表者名
      Arimoto Yoshiko
    • 雑誌名

      Acoustical Science and Technology

      巻: 44 号: 1 ページ: 36-39

    • DOI

      10.1250/ast.44.36

    • ISSN
      0369-4232, 1346-3969, 1347-5177
    • 年月日
      2023-01-01
    • 関連する報告書
      2022 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Detection of Laughter and Screaming Using the Attention and CTC Models2023

    • 著者名/発表者名
      Matsuda Takuto、Arimoto Yoshiko
    • 雑誌名

      Proceedings of Interspeech2023

      巻: - ページ: 1025-1029

    • DOI

      10.21437/interspeech.2023-1412

    • 関連する報告書
      2023 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] A Generative Framework for Conversational Laughter: Its 'Language Model' and Laughter Sound Synthesis2023

    • 著者名/発表者名
      Mori Hiroki、Kimura Shunya
    • 雑誌名

      Proceedings of Interspeech2023

      巻: - ページ: 3372-3376

    • DOI

      10.21437/interspeech.2023-2453

    • 関連する報告書
      2023 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] コーパス使いますか?作りますか?2022

    • 著者名/発表者名
      有本 泰子
    • 雑誌名

      日本音響学会誌

      巻: 79 号: 1 ページ: 64-71

    • DOI

      10.20697/jasj.79.1_64

    • ISSN
      0369-4232, 2432-2040
    • 年月日
      2022-12-25
    • 関連する報告書
      2022 実施状況報告書
    • オープンアクセス
  • [雑誌論文] 私たちはなぜ,いつ,どのように笑うのか2022

    • 著者名/発表者名
      森 大毅
    • 雑誌名

      日本音響学会誌

      巻: 79 号: 1 ページ: 57-63

    • DOI

      10.20697/jasj.79.1_57

    • ISSN
      0369-4232, 2432-2040
    • 年月日
      2022-12-25
    • 関連する報告書
      2022 実施状況報告書
    • オープンアクセス
  • [雑誌論文] Comparison of machine learning algorithms and acoustic features in emotion recognition from spontaneous speech2022

    • 著者名/発表者名
      Takahisa Iizuka, Hiroki Mori
    • 雑誌名

      Acoustical Science and Technology

      巻: 43 号: 4 ページ: 228-231

    • DOI

      10.1250/ast.43.228

    • ISSN
      0369-4232, 1346-3969, 1347-5177
    • 年月日
      2022-07-01
    • 関連する報告書
      2022 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] 対話システムはどのように話すべきか2022

    • 著者名/発表者名
      森 大毅
    • 雑誌名

      日本音響学会誌

      巻: 78 号: 5 ページ: 283-288

    • DOI

      10.20697/jasj.78.5_283

    • ISSN
      0369-4232, 2432-2040
    • 年月日
      2022-05-01
    • 関連する報告書
      2022 実施状況報告書
    • オープンアクセス
  • [雑誌論文] 自然で表現豊かな笑い声合成に向けた感情情報からの笑い声の構成要素決定法2022

    • 著者名/発表者名
      有本 泰子、今西 利於、森 大毅
    • 雑誌名

      情報処理学会論文誌

      巻: 63 号: 4 ページ: 1159-1169

    • DOI

      10.20729/00217618

    • 年月日
      2022-04-15
    • 関連する報告書
      2022 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Physiological study on the effect of game events in response to player's laughter2022

    • 著者名/発表者名
      Fukuda Mikito、Arimoto Yoshiko
    • 雑誌名

      Proceedings of Asia Pacific Signal and Information Processing Association Annual Summit and Conference 2022 (APSIPA ASC 2022)

      巻: 1 ページ: 1961-1969

    • DOI

      10.23919/apsipaasc55919.2022.9979868

    • 関連する報告書
      2022 実施状況報告書
    • 査読あり
  • [雑誌論文] Acoustic discriminability of unconscious laughter and scream during game-play2022

    • 著者名/発表者名
      Matsuda Takuto、Arimoto Yoshiko
    • 雑誌名

      Proc. Speech Prosody 2022

      巻: - ページ: 575-579

    • DOI

      10.21437/speechprosody.2022-117

    • 関連する報告書
      2022 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] How does a spontaneously speaking conversational agent affect user behavior?2022

    • 著者名/発表者名
      Takahisa Iizuka, Hiroki Mori
    • 雑誌名

      IEEE Access

      巻: 10 ページ: 111042-111051

    • DOI

      10.1109/access.2022.3214977

    • 関連する報告書
      2022 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Neural conversational speech synthesis with flexible control of emotion dimensions2022

    • 著者名/発表者名
      Hiroki Mori, Hironao Nishino
    • 雑誌名

      Proc. APSIPA ASC 2022

      巻: - ページ: 432-436

    • DOI

      10.23919/apsipaasc55919.2022.9980105

    • 関連する報告書
      2022 実施状況報告書
    • 査読あり / オープンアクセス
  • [学会発表] 日常会話コーパスを利用したspeech-laughの冒頭音素の対話ドメイン比較2024

    • 著者名/発表者名
      有本泰子, 神津宏尚
    • 学会等名
      国立国語研究所「日常会話コーパス」シンポジウム IX,
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] メルケプストラムを利用したspeech-laugh冒頭音素の音響分析2024

    • 著者名/発表者名
      瀬戸口遼, 有本泰子
    • 学会等名
      日本音響学会2024年春季研究発表会講演論文集
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] クラウドソーシングを利用した叫び声に対する感情次元評価2024

    • 著者名/発表者名
      大石暖, 大久保港, 有本泰子
    • 学会等名
      日本音響学会2024年春季研究発表会講演論文集,
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] 共起笑いの音響分析と生理反応への影響2024

    • 著者名/発表者名
      飯田真広, 有本泰子
    • 学会等名
      日本音響学会音声研究会(ASJ-SP)資料
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] wav2vec 2.0 を用いた笑い声・叫び声検出が可能な音声認識2024

    • 著者名/発表者名
      松田匠翔, 有本泰子
    • 学会等名
      日本音響学会音声研究会(ASJ-SP)資料
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] 音声合成用コーパスおよび日常会話コーパスのハイブリッドモデリングによる日常会話音声の合成2024

    • 著者名/発表者名
      古川 晃大,森 大毅
    • 学会等名
      日本音響学会2024年春季研究発表会
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] 笑い声に応答するゲームシステムの開発に向けたイベント呈示の生理学的評価2023

    • 著者名/発表者名
      倉澤瑞, 福田樹人, 有本泰子
    • 学会等名
      人工知能学会言語・音声理解と対話処理研究会(SIG-SLUD)第99回研究会「第14回対話システムシンポジウム」
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] speech-laugh の発生機序解明に向けた冒頭母音の音響分析2023

    • 著者名/発表者名
      瀬戸口遼, 有本泰子
    • 学会等名
      日本音響学会2023年秋季研究発表会講演論文集
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] 自発的な笑い声と叫び声が検出可能なEnd-to-End 音声認識の検討2023

    • 著者名/発表者名
      松田匠翔, 有本泰子
    • 学会等名
      日本音響学会2023年秋季研究発表会講演論文集
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] 情動発声研究のその先に:笑い声・叫び声の認識・合成,そしてインタラクション2023

    • 著者名/発表者名
      有本泰子
    • 学会等名
      日本音響学会2023年秋季研究発表会講演論文集
    • 関連する報告書
      2023 実施状況報告書
    • 招待講演
  • [学会発表] 会話エージェントは,いつ,どのように笑うべきか: ヒトの笑い声研究からの示唆2023

    • 著者名/発表者名
      森 大毅
    • 学会等名
      日本音響学会2023年秋季研究発表会
    • 関連する報告書
      2023 実施状況報告書
    • 招待講演
  • [学会発表] 笑い/非笑い条件下で生成される仮想世界のリアクションがゲームプレイヤーに与える効果の検証2023

    • 著者名/発表者名
      福田樹人, 有本泰子
    • 学会等名
      人工知能学会言語・音声理解と対話処理研究会(SIG-SLUD)
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] 話者変換によるデータ拡張を利用した叫び声合成2023

    • 著者名/発表者名
      白鳥恵大, 有本泰子
    • 学会等名
      日本音響学会2023年春季研究発表会講演論文集
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] 笑うプレイヤーを仮想世界に惹きつけるゲームイベントの検討 -生理反応を用いた客観評価-2022

    • 著者名/発表者名
      福田樹人, 有本泰子
    • 学会等名
      人工知能学会言語・音声理解と対話処理研究会(SIG-SLUD)
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] BiLSTM-CTC モデルを使用した自発的な笑い声と叫び声のEnd-to-End検出モデルの構築2022

    • 著者名/発表者名
      松田匠翔, 有本泰子
    • 学会等名
      日本音響学会2022年秋季研究発表会講演論文集
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] 感情知覚特性に基づいた自発的な叫び声の分類と音響的特徴量の関係2022

    • 著者名/発表者名
      大久保港, 井岸渉, 有本泰子
    • 学会等名
      日本音響学会2022年秋季研究発表会講演論文集
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] 自発対話音声に対する叫び声アノテーション2022

    • 著者名/発表者名
      白鳥恵大, 大久保港, 松田匠翔, 有本泰子
    • 学会等名
      言語資源ワークショップ2022
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] 様々な対話場面におけるspeech-laughの発生タイミングの分析2022

    • 著者名/発表者名
      有本泰子, 真弓花
    • 学会等名
      言語資源ワークショップ2022
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] 笑い声合成における音声記号表現と音響特徴量の感情次元による制御2022

    • 著者名/発表者名
      木村 駿野, 森 大毅
    • 学会等名
      日本音響学会2022年秋季研究発表会
    • 関連する報告書
      2022 実施状況報告書

URL: 

公開日: 2022-07-05   更新日: 2024-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi