• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2014 Fiscal Year Annual Research Report

Affect burst―音声対話における無意識な感情表出の分析および合成

Research Project

Project/Area Number 26280100
Research InstitutionUtsunomiya University

Principal Investigator

森 大毅  宇都宮大学, 工学(系)研究科(研究院), 准教授 (10302184)

Co-Investigator(Kenkyū-buntansha) 有本 泰子  独立行政法人理化学研究所, その他部局等, 研究員 (60586957)
能勢 隆  東北大学, 工学(系)研究科(研究院), 講師 (90550591)
Project Period (FY) 2014-04-01 – 2018-03-31
Keywords感情表出系感動詞 / 笑い声 / 音声対話 / コーパス / フィラー
Outline of Annual Research Achievements

(1)感情表出系感動詞
感情表出系感動詞に対する概念的/操作的定義を与えた。1)認知・感情状態の変化を示す 2)非語彙的 3)オプショナルではない 4)多くは発話先頭に来る - この定義を基に、UUDB 4840発話に対して766の感情表出系感動詞を同定した。書き起こしレベルでの出現頻度を調べた結果、「あ」「え」「ああ」「ん」だけで全体の80%を占めていた。これは、感情表出系感動詞と統語的に類似した性質を持つフィラーと比べ、顕著に多様性が低いという結果であった。次に、基本的な音響的特性の検討のため、UUDB中の感情表出系感動詞766、およびフィラー585に対し、時間情報のアノテーションを実施した。基本周波数および強度は、全体として感情表出系感動詞の方がフィラーに比べ平均値が有意に大きかった。母音性の感情表出系感動詞のフォルマント周波数を分析したところ、/a/がほかの母音と異なり知覚される感情状態との相関が有意であった。これは、「あ」が感情表出系感動詞の中でもパラ言語情報伝達に関与する特異な表現であることを示唆した結果と解釈できる。
(2)笑い声
笑い声の基本的な音響的特性の検討のため、UUDB中の笑い215に対し、以下のアノテーションを実施した。 1)Boutおよび吸気音ラベル 2)Boutの音声学的転記 - これらのデータを基に、UUDB中の笑い声の特性を検討した。その結果は以下のようにまとめられる。 1)ほとんどの笑いは単一boutからなる。最も長い笑いは4個のboutからなる。 2)Boutを構成するcall数は、1から4までが多い。 3)30%強を占める単一callから成るboutのうち、半数以上は全体が無声であった。これに対し、複数callからなるboutのほとんどは有声callを含んでいた。すなわち、boutの構造に関する非対称性が存在していた。 4)callの素性としては、90%以上が口音であり、80%が有声であり、u系、a系、e系の順に多かった。

Current Status of Research Progress
Current Status of Research Progress

1: Research has progressed more than it was originally planned.

Reason

・Affect burstの形態論的分類という当初目標が、affect burstの構造のモデルという、より発展した形で整理されたため。
・アノテーションが予定を上回るペースで作業が進み、当初27年度に計画していた(3)affect burstの音声学的分析についても、その一部を前倒しして実施することができたため。

Strategy for Future Research Activity

26年度、UUDBに対して実施したアノテーションと同様な作業をOGVCに対して行い、感情表出系感動詞の定義および同定が、対話の状況が異なるOGVCに対しても適用可能であるかを検証する。
もし大きな問題が見つからなければ、平成27年度の早い段階でアノテーション作業を完了する。
また、検討の結果、理論的な不備が見つかった場合には、2つのコーパスに加え、日本語話し言葉コーパスなど他のコーパスも加えて検討し、新たなアノテーション指針を策定し、UUDBおよびOGVCに対するアノテーションの改良を実施する。

Causes of Carryover

OGVCに対するアノテーション業務の委託先選定、ならびに作業計画策定に時間を要したため。

Expenditure Plan for Carryover Budget

既にアノテーション業務委託先と共同で作業計画は策定済。5月中に契約の運び。

  • Research Products

    (13 results)

All 2015 2014

All Journal Article (2 results) (of which Peer Reviewed: 2 results,  Open Access: 1 results) Presentation (10 results) Book (1 results)

  • [Journal Article] Mutual emotional understanding in a face-to-face communication environment: How speakers understand and react to listeners' emotion in a game task dialog2015

    • Author(s)
      Y. Arimoto and K. Okanoya
    • Journal Title

      Acoustical Science and Technology

      Volume: 未定

    • Peer Reviewed / Open Access
  • [Journal Article] Emotional synchrony and covariation of behavioral/physiological reactions between interlocutors2014

    • Author(s)
      Y. Arimoto and K. Okanoya
    • Journal Title

      2014 17th Oriental Chapter of the International Committee for the Co-ordination and Standardization of Speech Databases and Assessment Techniques (COCOSDA)

      Volume: なし Pages: 100-105

    • DOI

      10.1109/ICSDA.2014.7051428

    • Peer Reviewed
  • [Presentation] フィラーの声質上の特徴に関する予備的分析2015

    • Author(s)
      前川 喜久雄, 森 大毅
    • Organizer
      日本音響学会2015年春季研究発表会
    • Place of Presentation
      中央大学後楽園キャンパス
    • Year and Date
      2015-03-18 – 2015-03-18
  • [Presentation] クラスタリングに基づく発話中における笑い声の変動要因の検討2015

    • Author(s)
      永田 智洋, 森 大毅
    • Organizer
      日本音響学会2015年春季研究発表会
    • Place of Presentation
      中央大学後楽園キャンパス
    • Year and Date
      2015-03-17 – 2015-03-17
  • [Presentation] Affect burstの形態論的分類 - UUDBを対象とした検討2015

    • Author(s)
      森 大毅
    • Organizer
      日本音響学会2015年春季研究発表会
    • Place of Presentation
      中央大学後楽園キャンパス
    • Year and Date
      2015-03-17 – 2015-03-17
  • [Presentation] HMMに基づく対話音声合成におけるパラ言語情報制御手法の比較2014

    • Author(s)
      森 大毅, 高橋 俊介, 永田 智洋
    • Organizer
      電子情報通信学会音声研究会
    • Place of Presentation
      九州大学筑紫キャンパス
    • Year and Date
      2014-11-13 – 2014-11-13
  • [Presentation] 対話音声合成を目的とした発話中の笑い声の変動要因の検討2014

    • Author(s)
      永田 智洋, 森 大毅
    • Organizer
      電子情報通信学会音声研究会
    • Place of Presentation
      九州大学筑紫キャンパス
    • Year and Date
      2014-11-13 – 2014-11-13
  • [Presentation] 多様な会話コーパスを対象とした発話連鎖ラベリングの試み2014

    • Author(s)
      森 大毅,森本 郁代,大場 美和子,吉田 悦子,伝 康晴
    • Organizer
      第6回コーパス日本語学ワークショップ
    • Place of Presentation
      国立国語研究所
    • Year and Date
      2014-09-10 – 2014-09-10
  • [Presentation] 藤崎モデルに基づく対話音声の句末音調の操作がパラ言語情報の知覚に与える影響2014

    • Author(s)
      森 大毅, 渡邊 諒馬
    • Organizer
      日本音響学会2014年秋季研究発表会
    • Place of Presentation
      北海学園大学豊平キャンパス
    • Year and Date
      2014-09-05 – 2014-09-05
  • [Presentation] サポートベクター回帰による自発音声の感情次元推定2014

    • Author(s)
      永岡 篤, 森 大毅
    • Organizer
      日本音響学会2014年秋季研究発表会
    • Place of Presentation
      北海学園大学豊平キャンパス
    • Year and Date
      2014-09-05 – 2014-09-05
  • [Presentation] オンラインコミュニケーションにおけるモダリティ統制下の情動理解2014

    • Author(s)
      有本泰子, 江田康太郎, 菊池英明, 岡ノ谷一夫
    • Organizer
      日本音響学会2014年秋季研究発表会
    • Place of Presentation
      北海学園大学豊平キャンパス
    • Year and Date
      2014-09-03 – 2014-09-05
  • [Presentation] 対話場面におけるマルチモーダル感情コミュニケーション2014

    • Author(s)
      有本泰子
    • Organizer
      ヒューマンストレス産業技術研究会第27回講演会
    • Place of Presentation
      千里ライフサイエンスセンター
    • Year and Date
      2014-07-11 – 2014-07-11
  • [Book] 音声は何を伝えているか ―感情・パラ言語情報・個人性の音声科学―2014

    • Author(s)
      森大毅、前川喜久雄、粕谷英樹
    • Total Pages
      222
    • Publisher
      コロナ社

URL: 

Published: 2016-06-01  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi