Affect burst: Analysis and synthesis of unconscious exposition of emotion

• Project/Area Number: 26280100
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Partial Multi-year Fund
• Section: 一般
• Research Field: Kansei informatics
• Research Institution: Utsunomiya University
• Principal Investigator: Mori Hiroki 宇都宮大学, 工学(系)研究科(研究院), 准教授 (10302184)
• Co-Investigator(Kenkyū-buntansha): 有本 泰子 国立研究開発法人理化学研究所, 脳科学総合研究センター, 客員研究員 (60586957) ; 能勢 隆 東北大学, 工学研究科, 准教授 (90550591)
• Research Collaborator: NAGATA Tomohiro
• Project Period (FY): 2014-04-01 – 2018-03-31
• Project Status: Completed (Fiscal Year 2017)
• Budget Amount: ¥12,610,000 (Direct Cost: ¥9,700,000、Indirect Cost: ¥2,910,000); Fiscal Year 2017: ¥2,990,000 (Direct Cost: ¥2,300,000、Indirect Cost: ¥690,000); Fiscal Year 2016: ¥2,340,000 (Direct Cost: ¥1,800,000、Indirect Cost: ¥540,000); Fiscal Year 2015: ¥3,770,000 (Direct Cost: ¥2,900,000、Indirect Cost: ¥870,000); Fiscal Year 2014: ¥3,510,000 (Direct Cost: ¥2,700,000、Indirect Cost: ¥810,000)
• Keywords: 笑い声 / 叫び声 / 感情表出系感動詞 / パラ言語情報 / 合成 / 知覚 / 対話音声 / 笑い声合成 / アノテーション / ノンバーバルコミュニケーション / 感性情報処理 / 感情 / 音声合成 / コーパス / 音声対話 / フィラー

Outline of Final Research Achievements

(1) A multimodal corpus of gaming interaction that easily induces interlocutors' shouts was developed. This corpus contains more than ten times of shouts compared to existing corpora. Analysis of the shouts revealed the acoustical differences to regular words or interjections.
(2) A taxonomy of expressive interjections was developed, which enabled the synthesis of the interjections "a" with various forms. A perceptual experiment using the synthesized interjections revealed the relationship between the forms and paralinguistic information.
(3) Factors that affect the acoustical properties of laugh calls were identified. Incorporating these factors into the definition of context for the framework of the HMM-based speech synthesis enabled a flexible laughter synthesis. A perceptual experiment revealed the advantage of incorporating these contextual factors with respect to the naturalness of synthesized laughter.

Research Products

• [Journal Article] Defining laughter context for laughter synthesis with spontaneous speech corpus (2018)
  • Author(s): Nagata Tomohiro、Mori Hiroki
  • Journal Title: IEEE Transactions on Affective Computing Volume: 印刷中 Issue: 3 Pages: 553-559
  • DOI: 10.1109/taffc.2018.2813381
  • Peer Reviewed
• [Journal Article] Comparison of voice quality between the vowels in filled pauses and ordinary lexical items (2018)
  • Author(s): Kikuo Maekawa、Hiroki Mori
  • Journal Title: 音声研究 Volume: 21 Pages: 53-62
  • NAID: 130006727843
  • Peer Reviewed
• [Journal Article] Dimensional paralinguistic information control based on multiple-regression HSMM for spontaneous dialogue speech synthesis with robust parameter estimation (2017)
  • Author(s): Tomohiro Nagata, Hiroki Mori, and Takashi Nose
  • Journal Title: Speech Communication Volume: 88 Pages: 137-148
  • DOI: 10.1016/j.specom.2017.01.002
  • Peer Reviewed / Int'l Joint Research
• [Journal Article] Utilizing existing labels for automatic cross-corpus emotion labeling (2017)
  • Author(s): 永岡 篤、森 大毅、有本 泰子
  • Journal Title: THE JOURNAL OF THE ACOUSTICAL SOCIETY OF JAPAN Volume: 73 Issue: 11 Pages: 682-693
  • DOI: 10.20697/jasj.73.11_682
  • NAID: 130006729541
  • ISSN: 0369-4232, 2432-2040
  • Peer Reviewed / Open Access
• [Journal Article] Emotion Category Mapping to Emotional Space by Cross-Corpus Emotion Labeling (2017)
  • Author(s): Arimoto Yoshiko、Mori Hiroki
  • Journal Title: Proc. Interspeech 2017 Volume: － Pages: 3276-3280
  • DOI: 10.21437/interspeech.2017-994
  • Peer Reviewed
• [Journal Article] Voice-quality difference between the vowels in filled pauses and ordinary lexical items (2016)
  • Author(s): Kikuo Maekawa and Hiroki Mori
  • Journal Title: Proc. Interspeech 2016 Volume: なし Pages: 3171-3175
  • DOI: 10.21437/interspeech.2016-1309
  • Peer Reviewed / Open Access
• [Journal Article] A Study on Tailor-Made Speech Synthesis Based on Deep Neural Networks (2016)
  • Author(s): Shuhei Yamada, Takashi Nose, and Akinori Ito
  • Journal Title: Proceeding of the Twelfth International Conference on Intelligent Information Hiding and Multimedia Signal Processing Volume: Vol.1 Pages: 159-166
  • DOI: 10.1007/978-3-319-50209-0_20
  • ISBN: 9783319502083, 9783319502090
  • Peer Reviewed / Acknowledgement Compliant
• [Journal Article] Construction and analysis of phonetically and prosodically balanced emotional speech database (2016)
  • Author(s): Emika Takeishi, Takashi Nose, Yuya Chiba, Akinori Ito
  • Journal Title: Proc. O-COCOSDA 2016 Volume: なし Pages: 16-21
  • DOI: 10.1109/icsda.2016.7918977
  • Peer Reviewed
• [Journal Article] Comparison of emotional understanding in modality-controlled environments using multimodal online emotional communication corpus (2016)
  • Author(s): Y. Arimoto and K. Okanoya
  • Journal Title: Proc. LREC 2016 Volume: なし Pages: 2162-2167
  • Peer Reviewed / Open Access
• [Journal Article] Accuracy of automatic cross-corpus emotion labeling for conversational speech corpus commonization (2016)
  • Author(s): Hiroki Mori, Atsushi Nagaoka and Yoshiko Arimoto
  • Journal Title: Proc. LREC 2016 Volume: なし Pages: 4019-4023
  • Peer Reviewed / Open Access / Acknowledgement Compliant
• [Journal Article] Morphology of vocal affect bursts: Exploring expressive interjections in Japanese conversation (2015)
  • Author(s): H. Mori
  • Journal Title: Proc. Interspeech 2015 Volume: なし Pages: 1309-1313
  • Peer Reviewed / Open Access / Acknowledgement Compliant
• [Journal Article] Entropy-based sentence selection for speech synthesis using phonetic and prosodic contexts (2015)
  • Author(s): Takashi Nose
  • Journal Title: Proc. Interspeech 2015 Volume: なし Pages: 3491-3495
  • Peer Reviewed
• [Journal Article] Multimodal features for automatic emotion estimation during face-to-face conversation (2015)
  • Author(s): Y. Arimoto and K. Okanoya
  • Journal Title: Journal of Phonetic Society of Japan Volume: 19 Pages: 53-67
  • Peer Reviewed / Open Access
• [Journal Article] Mutual emotional understanding in a face-to-face communication environment: How speakers understand and react to listeners' emotion in a game task dialog (2015)
  • Author(s): Y. Arimoto and K. Okanoya
  • Journal Title: Acoustical Science and Technology Volume: 未定
  • NAID: 130005086497
  • Peer Reviewed / Open Access
• [Journal Article] Emotional synchrony and covariation of behavioral/physiological reactions between interlocutors (2014)
  • Author(s): Y. Arimoto and K. Okanoya
  • Journal Title: 2014 17th Oriental Chapter of the International Committee for the Co-ordination and Standardization of Speech Databases and Assessment Techniques (COCOSDA) Volume: なし Pages: 100-105
  • DOI: 10.1109/icsda.2014.7051428
  • URL: https://pure.teikyo.jp/en/publications/8ef6b314-f8a5-4134-8611-4dcfd9b9e3db
  • Peer Reviewed
• [Presentation] 感情知覚に対するセンシティビティが異なる評価者群による感情評定値の比較 (2018)
  • Author(s): 有本 泰子
  • Organizer: 日本音響学会2018年春季研究発表会
• [Presentation] 自然対話音声コーパスを用いたDNN音声合成におけるパラ言語情報制御 (2018)
  • Author(s): 横山 雅季、永田 智洋、森 大毅
  • Organizer: 日本音響学会2018年春季研究発表会
• [Presentation] パラ言語的に多様な感情表出系感動詞の音声合成 (2018)
  • Author(s): 戸井田 裕貴、森 大毅
  • Organizer: 2018年電子情報通信学会総合大会
• [Presentation] アクセント句F0の統計モデルに基づくアクセント句境界推定 (2018)
  • Author(s): 鈴木 圭、森 大毅
  • Organizer: 2018年電子情報通信学会総合大会
• [Presentation] Challenges of Building an Authentic Emotional Speech Corpus of Spontaneous Japanese Dialog (2018)
  • Author(s): Y. Arimoto
  • Organizer: Special speech session in The International Conference on Language Resources and Evaluation (LREC2018)
  • Int'l Joint Research / Invited
• [Presentation] 対話音声の感情認識における音響的特徴と言語的特徴の効果 (2017)
  • Author(s): 横山 雅季, 森 大毅, 有本 泰子
  • Organizer: 日本音響学会2017年春季研究発表会
  • Place of Presentation: 明治大学生田キャンパス
  • Year and Date: 2017-03-15
• [Presentation] 話し言葉音声合成のためのWeb上のテキストデータを用いたコーパス設計の検討 (2017)
  • Author(s): 花房伸哉, 能勢隆, 伊藤彰則
  • Organizer: 日本音響学会2017年春季研究発表会講演論文集
  • Place of Presentation: 明治大学生田キャンパス
  • Year and Date: 2017-03-15
• [Presentation] 感情音声データベースJTESの音声合成による評価 (2017)
  • Author(s): 武石笑歌，能勢隆，山田修平，千葉祐弥，伊藤彰則
  • Organizer: 日本音響学会2017年春季研究発表会講演論文集
  • Place of Presentation: 明治大学生田キャンパス
  • Year and Date: 2017-03-15
• [Presentation] 感情音声コーパスの構築と利用：いかにして生の感情を対象に研究を行うか (2017)
  • Author(s): 有本 泰子
  • Organizer: 音声資源活用シンポジウム2017
  • Invited
• [Presentation] 複数の会話コーパスを対象とした笑い声イベントのアノテーション (2017)
  • Author(s): 森 大毅、有本 泰子、永田 智洋
  • Organizer: 日本音響学会2017年秋季研究発表会
• [Presentation] 発話モード適応による対話音声合成の高品質化 (2017)
  • Author(s): 嘉屋 和樹、森 大毅
  • Organizer: 日本音響学会2017年秋季研究発表会
• [Presentation] 音声コミュニケーションにおける叫び声 (2017)
  • Author(s): 菊地 佑樹、森 大毅
  • Organizer: 日本音響学会2017年秋季研究発表会
• [Presentation] 自然対話における発話の文脈を考慮した笑い声合成の検討 (2017)
  • Author(s): 永田 智洋、森 大毅
  • Organizer: 電子情報通信学会音声研究会
• [Presentation] クロスコーパスラベリングによる感情空間への感情カテゴリのマッピング―音声知覚および音響分析による検討― (2016)
  • Author(s): 有本 泰子, 森 大毅
  • Organizer: HCGシンポジウム2016
  • Place of Presentation: 高知市文化プラザかるぽーと
  • Year and Date: 2016-12-07
• [Presentation] 話し手の説明戦略に影響する聞き手行動の分析 (2016)
  • Author(s): 藍原 瞭, 森 大毅
  • Organizer: HCGシンポジウム2016
  • Place of Presentation: 高知市文化プラザかるぽーと
  • Year and Date: 2016-12-07
• [Presentation] 音声からの知覚による感情カテゴリと感情次元の関係 (2016)
  • Author(s): 有本 泰子, 森 大毅
  • Organizer: 日本音響学会2016年秋季研究発表会
  • Place of Presentation: 愛媛大学城北キャンパス
  • Year and Date: 2016-09-25
• [Presentation] HMM音声合成における複数の自然対話コーパス(UUDB,OGVC)併用の有効性 (2016)
  • Author(s): 嘉屋 和樹, 森 大毅
  • Organizer: 日本音響学会2016年秋季研究発表会
  • Place of Presentation: 愛媛大学城北キャンパス
  • Year and Date: 2016-09-25
• [Presentation] ニューラルネットワークを用いた基本周波数パターンのモデル化 (2016)
  • Author(s): 田中 勇翔, 森 大毅
  • Organizer: 日本音響学会2016年秋季研究発表会
  • Place of Presentation: 愛媛大学城北キャンパス
  • Year and Date: 2016-09-25
• [Presentation] 自然対話コーパスを用いた音声コミュニケーション場面における笑い声合成の検討 (2016)
  • Author(s): 永田 智洋, 森 大毅
  • Organizer: 日本音響学会2017年春季研究発表会
  • Place of Presentation: 桐蔭横浜大学(横浜市)
  • Year and Date: 2016-03-11
• [Presentation] クロスコーパス感情ラベリングによる対話音声の比較 (2016)
  • Author(s): 有本 泰子, 森 大毅
  • Organizer: 日本音響学会2016年春季研究発表会
  • Place of Presentation: 桐蔭横浜大学(横浜市)
• [Presentation] 会話中の行為連鎖に関与する発話の特徴 (2016)
  • Author(s): 森 大毅
  • Organizer: 公開シンポジウム「ことば・認知・インタラクション４」
  • Place of Presentation: 東京工科大学(東京都大田区)
• [Presentation] 発話の基本周波数分布にもとづく藤崎モデル基底周波数の決定手法 (2015)
  • Author(s): 有本泰子, 堀内靖雄, 大野澄雄
  • Organizer: 日本音響学会2015年秋季研究発表会
  • Place of Presentation: 会津大学
  • Year and Date: 2015-09-16
• [Presentation] フィラーの声質上の特徴に関する予備的分析 (2015)
  • Author(s): 前川 喜久雄, 森 大毅
  • Organizer: 日本音響学会2015年春季研究発表会
  • Place of Presentation: 中央大学後楽園キャンパス
  • Year and Date: 2015-03-18
• [Presentation] クラスタリングに基づく発話中における笑い声の変動要因の検討 (2015)
  • Author(s): 永田 智洋, 森 大毅
  • Organizer: 日本音響学会2015年春季研究発表会
  • Place of Presentation: 中央大学後楽園キャンパス
  • Year and Date: 2015-03-17
• [Presentation] Affect burstの形態論的分類 － UUDBを対象とした検討 (2015)
  • Author(s): 森 大毅
  • Organizer: 日本音響学会2015年春季研究発表会
  • Place of Presentation: 中央大学後楽園キャンパス
  • Year and Date: 2015-03-17
• [Presentation] Voice quality analysis of Japanese filled pauses: A preliminary report (2015)
  • Author(s): K. Maekawa and H. Mori
  • Organizer: Disfluency in Spontaneous Speech Workshop
  • Place of Presentation: エジンバラ(英国)
  • Int'l Joint Research
• [Presentation] Affect burstの音声学的分類 －感情表出系感動詞の言語的・パラ言語的特徴－ (2015)
  • Author(s): 森 大毅
  • Organizer: 日本音響学会2015年秋季研究発表会
  • Place of Presentation: 会津大学(会津若松市)
• [Presentation] HMMに基づく対話音声合成におけるパラ言語情報制御手法の比較 (2014)
  • Author(s): 森 大毅, 高橋 俊介, 永田 智洋
  • Organizer: 電子情報通信学会音声研究会
  • Place of Presentation: 九州大学筑紫キャンパス
  • Year and Date: 2014-11-13
• [Presentation] 対話音声合成を目的とした発話中の笑い声の変動要因の検討 (2014)
  • Author(s): 永田 智洋, 森 大毅
  • Organizer: 電子情報通信学会音声研究会
  • Place of Presentation: 九州大学筑紫キャンパス
  • Year and Date: 2014-11-13
• [Presentation] 多様な会話コーパスを対象とした発話連鎖ラベリングの試み (2014)
  • Author(s): 森 大毅，森本 郁代，大場 美和子，吉田 悦子，伝 康晴
  • Organizer: 第6回コーパス日本語学ワークショップ
  • Place of Presentation: 国立国語研究所
  • Year and Date: 2014-09-10
• [Presentation] 藤崎モデルに基づく対話音声の句末音調の操作がパラ言語情報の知覚に与える影響 (2014)
  • Author(s): 森 大毅, 渡邊 諒馬
  • Organizer: 日本音響学会2014年秋季研究発表会
  • Place of Presentation: 北海学園大学豊平キャンパス
  • Year and Date: 2014-09-05
• [Presentation] サポートベクター回帰による自発音声の感情次元推定 (2014)
  • Author(s): 永岡 篤, 森 大毅
  • Organizer: 日本音響学会2014年秋季研究発表会
  • Place of Presentation: 北海学園大学豊平キャンパス
  • Year and Date: 2014-09-05
• [Presentation] オンラインコミュニケーションにおけるモダリティ統制下の情動理解 (2014)
  • Author(s): 有本泰子, 江田康太郎, 菊池英明, 岡ノ谷一夫
  • Organizer: 日本音響学会2014年秋季研究発表会
  • Place of Presentation: 北海学園大学豊平キャンパス
  • Year and Date: 2014-09-03 – 2014-09-05
• [Presentation] 対話場面におけるマルチモーダル感情コミュニケーション (2014)
  • Author(s): 有本泰子
  • Organizer: ヒューマンストレス産業技術研究会第27回講演会
  • Place of Presentation: 千里ライフサイエンスセンター
  • Year and Date: 2014-07-11
• [Book] 音声は何を伝えているか ―感情・パラ言語情報・個人性の音声科学― (2014)
  • Author(s): 森大毅、前川喜久雄、粕谷英樹
  • Total Pages: 222
  • Publisher: コロナ社