• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Speech-laughの発生機序の解明

Research Project

Project/Area Number 22K18477
Research Category

Grant-in-Aid for Challenging Research (Exploratory)

Allocation TypeMulti-year Fund
Review Section Medium-sized Section 2:Literature, linguistics, and related fields
Research InstitutionChiba Institute of Technology

Principal Investigator

有本 泰子  千葉工業大学, 情報科学部, 准教授 (60586957)

Co-Investigator(Kenkyū-buntansha) 森 大毅  宇都宮大学, 工学部, 准教授 (10302184)
Project Period (FY) 2022-06-30 – 2025-03-31
Project Status Granted (Fiscal Year 2023)
Budget Amount *help
¥6,240,000 (Direct Cost: ¥4,800,000、Indirect Cost: ¥1,440,000)
Fiscal Year 2024: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2023: ¥2,340,000 (Direct Cost: ¥1,800,000、Indirect Cost: ¥540,000)
Fiscal Year 2022: ¥2,470,000 (Direct Cost: ¥1,900,000、Indirect Cost: ¥570,000)
Keywordsspeech-laugh / 音響分析 / フォルマント周波数 / ケプストラム分析 / アノテーション / コーパス / 分節音 / Speech-laugh
Outline of Research at the Start

Speech-laughとは,発話中に肺からの突発的な呼気流により生じるしゃべりながらの笑い声のことで,声の震えや気息性のある声質を伴って発声される現象である。本研究は,どのような声道形状であるときにspeech-laughが生じやすくなるかを明らかにするため,音声対話コーパスを使用してspeech-laughの冒頭の音素がどのような調音であるのかを音響音声学的に検証する。また,speech-laughの発生機序に準じてその発生タイミングを操作した合成音声を作成し,その発生タイミングがどの程度speech-laughらしさに寄与するのか検証する。

Outline of Annual Research Achievements

speech-laughの発生機序を明らかにすることを目的とし,speech-laugh 発生時の声道特性を表す二種類の特徴量を用いてspeech-laugh冒頭と発話に含まれる音素の音響特性の違いを検証した.フォルマント分析の結果,/a/, /e/, /o/の母音はspeech-laugh 冒頭の方が発話に含まれる音素の方がF1 およびF2 の値が大きかった.メルケプストラムを使用した一般化線形混合モデルによる分析の結果,低次元のケプストラム係数が発話とspeech-laugh を区別することに貢献することが分かった.
また,これまでに行なってきた音声学的分析に関しても,日常会話コーパス(CEJC)を利用して対話ドメインを拡張し,更なる分析を実施した。463 名(延べ人数)の会議会合場面および雑談対話場面のspeech-laugh ラベリング分節音ラベリング(MFA 使用後,手修正)を行ったのち,speech-laugh冒頭の音素を対象に統計的仮説検定を用いた分析を行った。その結果,歯茎破裂音sでspeech-laughが始まることが多いこと,雑談場面では歯茎付近の狭め(/d/, /t/, /z/, /n/)で,会議会合場面では声門(/h/) や両唇(/p/, /h/) での狭めでspeech-laughが生じやすいことが分かった。
本研究に関連する成果として,査読付き学術雑誌で2件の論文を発表した。それ以外にも,査読付き国際会議で2件,国内学会で招待講演を2件,国内学会で10件の発表がある。また,国内で発表した3件の研究に対して,その研究内容および独創性が評価され学会より賞を授与された。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

言語普遍性の検証を可能とするため,日本語とそれ以外の対話コーパスを対象とする予定であったが,外国語の自発対話音声を入手することが困難であり,実現できていない。2022年度は,その分を年代を拡張して,20代から70代までのspeech-laughラベリングを実施した。2023年度は,現象のドメイン・依存性を確認するため,419名の大規模な音声資料を利用した分析を実施した。また,音響分析も着実に実施しており,成果を出している。そのため,概ね順調に進展している。

Strategy for Future Research Activity

Speech-laugh の発生規則がspeech-laugh らしさに影響しているかどうかを検証するために,speech-laugh合成を実施する。合成したspeech-laughに対し,主観評価実験を実施して,その自然性を評価する。

Report

(2 results)
  • 2023 Research-status Report
  • 2022 Research-status Report
  • Research Products

    (33 results)

All 2025 2024 2023 2022

All Journal Article (14 results) (of which Peer Reviewed: 11 results,  Open Access: 13 results) Presentation (19 results) (of which Invited: 2 results)

  • [Journal Article] Determining the base frequency of the F0 contour generation model for the diverse expression of speech,” Acoustical Science and Technology2025

    • Author(s)
      Yoshiko Arimoto, Yasuo Horiuchi, Sumio Ohno
    • Journal Title

      Acoustical Science and Technology

      Volume: 1

    • Related Report
      2023 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] Acoustic differences between laughter and screams in spontaneous dialog2024

    • Author(s)
      Matsuda Takuto、Arimoto Yoshiko
    • Journal Title

      Acoustical Science and Technology

      Volume: 45 Issue: 3 Pages: 135-146

    • DOI

      10.1250/ast.e23.58

    • ISSN
      0369-4232, 1346-3969, 1347-5177
    • Year and Date
      2024-05-01
    • Related Report
      2023 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] Phonetic analysis on speech-laugh occurrence in spontaneous gaming dialog2023

    • Author(s)
      Arimoto Yoshiko
    • Journal Title

      Acoustical Science and Technology

      Volume: 44 Issue: 1 Pages: 36-39

    • DOI

      10.1250/ast.44.36

    • ISSN
      0369-4232, 1346-3969, 1347-5177
    • Year and Date
      2023-01-01
    • Related Report
      2022 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] Detection of Laughter and Screaming Using the Attention and CTC Models2023

    • Author(s)
      Matsuda Takuto、Arimoto Yoshiko
    • Journal Title

      Proceedings of Interspeech2023

      Volume: - Pages: 1025-1029

    • DOI

      10.21437/interspeech.2023-1412

    • Related Report
      2023 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] A Generative Framework for Conversational Laughter: Its 'Language Model' and Laughter Sound Synthesis2023

    • Author(s)
      Mori Hiroki、Kimura Shunya
    • Journal Title

      Proceedings of Interspeech2023

      Volume: - Pages: 3372-3376

    • DOI

      10.21437/interspeech.2023-2453

    • Related Report
      2023 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] Use or produce?: Corpus construction for affective speech analysis2022

    • Author(s)
      有本 泰子
    • Journal Title

      THE JOURNAL OF THE ACOUSTICAL SOCIETY OF JAPAN

      Volume: 79 Issue: 1 Pages: 64-71

    • DOI

      10.20697/jasj.79.1_64

    • ISSN
      0369-4232, 2432-2040
    • Year and Date
      2022-12-25
    • Related Report
      2022 Research-status Report
    • Open Access
  • [Journal Article] Why, when, and how do we laugh?2022

    • Author(s)
      森 大毅
    • Journal Title

      THE JOURNAL OF THE ACOUSTICAL SOCIETY OF JAPAN

      Volume: 79 Issue: 1 Pages: 57-63

    • DOI

      10.20697/jasj.79.1_57

    • ISSN
      0369-4232, 2432-2040
    • Year and Date
      2022-12-25
    • Related Report
      2022 Research-status Report
    • Open Access
  • [Journal Article] Comparison of machine learning algorithms and acoustic features in emotion recognition from spontaneous speech2022

    • Author(s)
      Takahisa Iizuka, Hiroki Mori
    • Journal Title

      Acoustical Science and Technology

      Volume: 43 Issue: 4 Pages: 228-231

    • DOI

      10.1250/ast.43.228

    • ISSN
      0369-4232, 1346-3969, 1347-5177
    • Year and Date
      2022-07-01
    • Related Report
      2022 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] How should a dialog system speak? Implications for speech synthesis from real conversations2022

    • Author(s)
      森 大毅
    • Journal Title

      THE JOURNAL OF THE ACOUSTICAL SOCIETY OF JAPAN

      Volume: 78 Issue: 5 Pages: 283-288

    • DOI

      10.20697/jasj.78.5_283

    • ISSN
      0369-4232, 2432-2040
    • Year and Date
      2022-05-01
    • Related Report
      2022 Research-status Report
    • Open Access
  • [Journal Article] Laughter Components Estimation Using Emotional Information towards Natural and Expressive Laughter Synthesis2022

    • Author(s)
      有本 泰子、今西 利於、森 大毅
    • Journal Title

      情報処理学会論文誌

      Volume: 63 Issue: 4 Pages: 1159-1169

    • DOI

      10.20729/00217618

    • Year and Date
      2022-04-15
    • Related Report
      2022 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] Physiological study on the effect of game events in response to player's laughter2022

    • Author(s)
      Fukuda Mikito、Arimoto Yoshiko
    • Journal Title

      Proceedings of Asia Pacific Signal and Information Processing Association Annual Summit and Conference 2022 (APSIPA ASC 2022)

      Volume: 1 Pages: 1961-1969

    • DOI

      10.23919/apsipaasc55919.2022.9979868

    • Related Report
      2022 Research-status Report
    • Peer Reviewed
  • [Journal Article] Acoustic discriminability of unconscious laughter and scream during game-play2022

    • Author(s)
      Matsuda Takuto、Arimoto Yoshiko
    • Journal Title

      Proc. Speech Prosody 2022

      Volume: - Pages: 575-579

    • DOI

      10.21437/speechprosody.2022-117

    • Related Report
      2022 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] How does a spontaneously speaking conversational agent affect user behavior?2022

    • Author(s)
      Takahisa Iizuka, Hiroki Mori
    • Journal Title

      IEEE Access

      Volume: 10 Pages: 111042-111051

    • DOI

      10.1109/access.2022.3214977

    • Related Report
      2022 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] Neural conversational speech synthesis with flexible control of emotion dimensions2022

    • Author(s)
      Hiroki Mori, Hironao Nishino
    • Journal Title

      Proc. APSIPA ASC 2022

      Volume: - Pages: 432-436

    • DOI

      10.23919/apsipaasc55919.2022.9980105

    • Related Report
      2022 Research-status Report
    • Peer Reviewed / Open Access
  • [Presentation] 日常会話コーパスを利用したspeech-laughの冒頭音素の対話ドメイン比較2024

    • Author(s)
      有本泰子, 神津宏尚
    • Organizer
      国立国語研究所「日常会話コーパス」シンポジウム IX,
    • Related Report
      2023 Research-status Report
  • [Presentation] メルケプストラムを利用したspeech-laugh冒頭音素の音響分析2024

    • Author(s)
      瀬戸口遼, 有本泰子
    • Organizer
      日本音響学会2024年春季研究発表会講演論文集
    • Related Report
      2023 Research-status Report
  • [Presentation] クラウドソーシングを利用した叫び声に対する感情次元評価2024

    • Author(s)
      大石暖, 大久保港, 有本泰子
    • Organizer
      日本音響学会2024年春季研究発表会講演論文集,
    • Related Report
      2023 Research-status Report
  • [Presentation] 共起笑いの音響分析と生理反応への影響2024

    • Author(s)
      飯田真広, 有本泰子
    • Organizer
      日本音響学会音声研究会(ASJ-SP)資料
    • Related Report
      2023 Research-status Report
  • [Presentation] wav2vec 2.0 を用いた笑い声・叫び声検出が可能な音声認識2024

    • Author(s)
      松田匠翔, 有本泰子
    • Organizer
      日本音響学会音声研究会(ASJ-SP)資料
    • Related Report
      2023 Research-status Report
  • [Presentation] 音声合成用コーパスおよび日常会話コーパスのハイブリッドモデリングによる日常会話音声の合成2024

    • Author(s)
      古川 晃大,森 大毅
    • Organizer
      日本音響学会2024年春季研究発表会
    • Related Report
      2023 Research-status Report
  • [Presentation] 笑い声に応答するゲームシステムの開発に向けたイベント呈示の生理学的評価2023

    • Author(s)
      倉澤瑞, 福田樹人, 有本泰子
    • Organizer
      人工知能学会言語・音声理解と対話処理研究会(SIG-SLUD)第99回研究会「第14回対話システムシンポジウム」
    • Related Report
      2023 Research-status Report
  • [Presentation] speech-laugh の発生機序解明に向けた冒頭母音の音響分析2023

    • Author(s)
      瀬戸口遼, 有本泰子
    • Organizer
      日本音響学会2023年秋季研究発表会講演論文集
    • Related Report
      2023 Research-status Report
  • [Presentation] 自発的な笑い声と叫び声が検出可能なEnd-to-End 音声認識の検討2023

    • Author(s)
      松田匠翔, 有本泰子
    • Organizer
      日本音響学会2023年秋季研究発表会講演論文集
    • Related Report
      2023 Research-status Report
  • [Presentation] 情動発声研究のその先に:笑い声・叫び声の認識・合成,そしてインタラクション2023

    • Author(s)
      有本泰子
    • Organizer
      日本音響学会2023年秋季研究発表会講演論文集
    • Related Report
      2023 Research-status Report
    • Invited
  • [Presentation] 会話エージェントは,いつ,どのように笑うべきか: ヒトの笑い声研究からの示唆2023

    • Author(s)
      森 大毅
    • Organizer
      日本音響学会2023年秋季研究発表会
    • Related Report
      2023 Research-status Report
    • Invited
  • [Presentation] 笑い/非笑い条件下で生成される仮想世界のリアクションがゲームプレイヤーに与える効果の検証2023

    • Author(s)
      福田樹人, 有本泰子
    • Organizer
      人工知能学会言語・音声理解と対話処理研究会(SIG-SLUD)
    • Related Report
      2022 Research-status Report
  • [Presentation] 話者変換によるデータ拡張を利用した叫び声合成2023

    • Author(s)
      白鳥恵大, 有本泰子
    • Organizer
      日本音響学会2023年春季研究発表会講演論文集
    • Related Report
      2022 Research-status Report
  • [Presentation] 笑うプレイヤーを仮想世界に惹きつけるゲームイベントの検討 -生理反応を用いた客観評価-2022

    • Author(s)
      福田樹人, 有本泰子
    • Organizer
      人工知能学会言語・音声理解と対話処理研究会(SIG-SLUD)
    • Related Report
      2022 Research-status Report
  • [Presentation] BiLSTM-CTC モデルを使用した自発的な笑い声と叫び声のEnd-to-End検出モデルの構築2022

    • Author(s)
      松田匠翔, 有本泰子
    • Organizer
      日本音響学会2022年秋季研究発表会講演論文集
    • Related Report
      2022 Research-status Report
  • [Presentation] 感情知覚特性に基づいた自発的な叫び声の分類と音響的特徴量の関係2022

    • Author(s)
      大久保港, 井岸渉, 有本泰子
    • Organizer
      日本音響学会2022年秋季研究発表会講演論文集
    • Related Report
      2022 Research-status Report
  • [Presentation] 自発対話音声に対する叫び声アノテーション2022

    • Author(s)
      白鳥恵大, 大久保港, 松田匠翔, 有本泰子
    • Organizer
      言語資源ワークショップ2022
    • Related Report
      2022 Research-status Report
  • [Presentation] 様々な対話場面におけるspeech-laughの発生タイミングの分析2022

    • Author(s)
      有本泰子, 真弓花
    • Organizer
      言語資源ワークショップ2022
    • Related Report
      2022 Research-status Report
  • [Presentation] 笑い声合成における音声記号表現と音響特徴量の感情次元による制御2022

    • Author(s)
      木村 駿野, 森 大毅
    • Organizer
      日本音響学会2022年秋季研究発表会
    • Related Report
      2022 Research-status Report

URL: 

Published: 2022-07-05   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi