音声コミュニケーションにおけるノンバーバル発話の研究

2010 年度 研究成果報告書

• 研究課題/領域番号: 19300073
• 研究種目: 基盤研究(B)
• 配分区分: 補助金
• 応募区分: 一般
• 研究分野: 感性情報学・ソフトコンピューティング
• 研究機関: 奈良先端科学技術大学院大学
• 研究代表者: キヤンベル ニツク 奈良先端科学技術大学院大学, 情報科学研究科, 客員教授 (50395109)
• 研究分担者: 定延 利之 神戸大学, 国際文化学部, 教授 (50235305) ; 柏岡 秀紀 奈良先端科学技術大学院大学, 情報科学研究科, 客員准教授 (10395022)
• 研究期間 (年度): 2007 – 2010
• キーワード: ノンバーバル / 音声発話 / 情動情報 / センシング / 技術

研究概要

本研究のはじめに「対話構造」、「アクティブ・リスニング」を主なテーマとして、招待講演や国内および国際会議での発表を多く行った。本プロジェクトにより、新たな技術を得てはいないが、自然音声対話に関しての合成と認識手法に関して理解を深めることが可能となった。また本研究はEUのプロジェクトであるSocial Signal Processingに影響を及ぼした。さらに大規模マルチモーダルコーパスを数カ国の大学と協力して収録し、ウェブページhttp://www.speech-data.jp/nick/mmx/d64.htmlにそのデータベースを掲載した。最後に本研究で開発された画像処理モジュール、音声処理モジュールを含み、簡単な会話が可能なロボット"Herme"を完成させた。"Herme"は現在アイルランドに展示されており、ロボットとの対話音声コーパスの収録を行っている。

研究成果

• [雑誌論文] A comparison of automatic online and offline approaches using audiovisual data (2011)
  • 著者名/発表者名: ニック・キャンベル
  • 雑誌名: ACM Trans-actions on Interactive Intelligent Systems (印刷中)
  • 査読あり
• [雑誌論文] Affective speech in real-life interactions (2011)
  • 著者名/発表者名: ニック・キャンベル
  • 雑誌名: Computer Speech and Language Vol.25 ページ: 1-3
  • 査読あり
• [雑誌論文] How Speech Effect and Discourse Information (2007)
  • 著者名/発表者名: ニック・キャンベル
  • 雑誌名: NATO Se-curity through Science Se-ries, IOS, Press Vol.18 ページ: 103-114
  • 査読あり
• [雑誌論文] Differences in the Speaking Style of a Japanese Male According to Interlocutor; Showing the Effects of Affect in conversational Speech (2007)
  • 著者名/発表者名: ニック・キャンベル
  • 雑誌名: Linguistics and Chinese Language Process-ing Vol.12, No.1 ページ: 1-16
  • 査読あり
• [雑誌論文] The Role and Use of Speech Gestures in Discourse (2007)
  • 著者名/発表者名: ニック・キャンベル
  • 雑誌名: Archives of Acous-tic, WARSZAWA Vol.32, No.4 ページ: 803-814
  • 査読あり
• [学会発表] Analysis of Laughter for Autistic Children (2011)
  • 著者名/発表者名: 田中宏季
  • 学会等名: COST Final Meeting
  • 発表場所: ドリスデン(ドイツ)
  • 年月日: 2011-03-25
• [学会発表] 対話型音声合成のための話し言葉変換モジュールの検討 (2011)
  • 著者名/発表者名: 井岡孝憲
  • 学会等名: 日本音響学会2011年春季研究発表会
  • 発表場所: 東京
  • 年月日: 2011-03-10
• [学会発表] 波形接続型音声合成法を改良した高品質音声合成手法の提案 (2011)
  • 著者名/発表者名: 豊川弘樹
  • 学会等名: 日本音響学会2011年春季研究発表会
  • 発表場所: 東京
  • 年月日: 2011-03-09
• [学会発表] 自閉症児支援のための笑い分析 (2011)
  • 著者名/発表者名: 田中宏季
  • 学会等名: 日本音響学会2011年春季研究発表会
  • 発表場所: 東京
  • 年月日: 2011-03-09
• [学会発表] Speech Technology and Empathy in Conversational Interaction (2010)
  • 著者名/発表者名: ニック・キャンベル, Stefan Schere
  • 学会等名: Oriental COCOSDA
  • 発表場所: カトマンズ(インド)
  • 年月日: 2010-11-28
• [学会発表] Automatic detection of social aspects of in-teractive spoken conversation (2010)
  • 著者名/発表者名: ニック・キャンベル
  • 学会等名: CogInfoCom
  • 発表場所: 東京
  • 年月日: 2010-11-23
• [学会発表] Comparing Measures of Synchrony and Alignment in Dialogue Speech Timing with respect to Turn-taking Activity (2010)
  • 著者名/発表者名: ニック・キャンベル
  • 学会等名: Interspeech 2010
  • 発表場所: 東京
  • 年月日: 2010-09-30
• [学会発表] Processing 'niblets' for conversa-tional speech interaction. (2010)
  • 著者名/発表者名: ニック・キャンベル, Stefan Schere
  • 学会等名: COST 2102
  • 発表場所: ブダペスト(ハンガリー)
  • 年月日: 2010-09-08
• [学会発表] Towards a Description of the Dynamics of Spontaneous Speech based on Acoustic-Prosodic Properties of Fragmentary Discursive Events (2010)
  • 著者名/発表者名: ニック・キャンベル, Helena Moniz, John Kane, Isabel Trancosor
  • 学会等名: COST 2102
  • 発表場所: ブダペスト(ハンガリー)
  • 年月日: 2010-09-08
• [学会発表] Multimodal Expressivity (Conversation as a prelinguistic social activity) (2010)
  • 著者名/発表者名: ニック・キャンベル
  • 学会等名: Hungarian Academy of Science
  • 発表場所: ブダペスト(ハンガリー)
  • 年月日: 2010-07-27
• [学会発表] MMX - proc-essing MultiModal eXpressive inter-action, ЧЕТВЁРТАЯ МЕЖДУНАРОДНАЯ КОНФЕРЕНЦИЯ ПО КОГНИТИВНОЙ НАУКЕ. (2010)
  • 著者名/発表者名: ニック・キャンベル
  • 学会等名: THE FOURTH INTERNA-TIONAL CONFERENCE ON COGNITIVE SCI-ENCE
  • 発表場所: トモスク(ロシア)
  • 年月日: 2010-06-23
• [学会発表] Workshop on Preparation for a Digital Corpus of Japanese Everyday Talk. (2010)
  • 著者名/発表者名: ニック・キャンベル
  • 学会等名: Univer-sity of Alberta
  • 発表場所: アルベルタ(カナダ)
  • 年月日: 2010-06-12
• [学会発表] A corpus of richly recorded conversational in-teraction. (2010)
  • 著者名/発表者名: ニック・キャンベル
  • 学会等名: Language Resources & Evaluation Conference
  • 発表場所: マルタ(イタリア)
  • 年月日: 2010-05-21
• [学会発表] A software toolkit for viewing annotated mul-timodal data interactively over the web. (2010)
  • 著者名/発表者名: ニック・キャンベル
  • 学会等名: Language Resources & Evaluation Conference
  • 発表場所: マルタ(イタリア)
  • 年月日: 2010-05-20
• [学会発表] 発話タイミングを考慮した相槌の分析 (2010)
  • 著者名/発表者名: 上野和哉
  • 学会等名: 日本音響学会2011年春季研究発表会
  • 発表場所: 東京
  • 年月日: 2010-03-10
• [学会発表] 発話意図に基づく「はい」の音響的特徴の分析 (2010)
  • 著者名/発表者名: 佃・友介
  • 学会等名: 日本音響学会
  • 発表場所: 東京
  • 年月日: 2010-03-08
• [学会発表] On the continued use of prosody in speech technology (2010)
  • 著者名/発表者名: ニック・キャンベル
  • 学会等名: ICCS/HCRC Seminar Series, Edinburgh University
  • 発表場所: Edinburgh, Scotland
  • 年月日: 2010-02-26
• [学会発表] Language Re-sources of the Future (a speech-based position paper) (2010)
  • 著者名/発表者名: ニック・キャンベル
  • 学会等名: FLaReNet Fo-rum
  • 発表場所: バルセロナ(スペイン)
  • 年月日: 2010-02-12
• [学会発表] Language Re-sources of the Future (a speech-based position paper) (2010)
  • 著者名/発表者名: ニック・キャンベル
  • 学会等名: Language Resources of the Future, FLaReNet Fo-rum
  • 発表場所: Barcelona, Spain
  • 年月日: 2010-02-12
• [学会発表] マルチモーダルな会話データ収集と処理 (2009)
  • 著者名/発表者名: ニック・キャンベル
  • 学会等名: キャラクタの音声文法
  • 発表場所: 京都
  • 年月日: 2009-12-19
• [学会発表] 発話意図を考慮した対話型音声の音韻継続長制御に関する検討 (2009)
  • 著者名/発表者名: 佃友介
  • 学会等名: 日本音響学会
  • 発表場所: 京都
  • 年月日: 2009-09-17
• [学会発表] Tracking the second channel of information in speech (2009)
  • 著者名/発表者名: ニック・キャンベル
  • 学会等名: IEEE International workshop on Social Signal Process-ing
  • 発表場所: アムステルダム(オランダ)
  • 年月日: 2009-09-13
• [学会発表] An Audio-Visual Approach to Measuring Discourse Synchrony in Multimodal Conversation Data (2009)
  • 著者名/発表者名: ニック・キャンベル
  • 学会等名: Interspeech
  • 発表場所: Brigh-ton England
  • 年月日: 2009-09-09
• [学会発表] 対話型音声合成の時間制御 (2009)
  • 著者名/発表者名: 佃友介
  • 学会等名: 音声文法研究会
  • 発表場所: 奈良
  • 年月日: 2009-07-18
• [学会発表] The expanding role of prosody in speech communi-cation technology (2009)
  • 著者名/発表者名: ニック・キャンベル
  • 学会等名: DIAHOLMIA, KTH
  • 発表場所: スウェーデン
  • 年月日: 2009-06-12
• [学会発表] Multimodal Processing of Discourse Information ; the Effect of Synchrony (2008)
  • 著者名/発表者名: ニック・キャンベル
  • 学会等名: ISUC2008
  • 発表場所: 大阪
  • 年月日: 2008-12-15
• [学会発表] The Expanding Role of Prosody Interpretation in Speech Communication and Speech Technology. (2008)
  • 著者名/発表者名: ニック・キャンベル
  • 学会等名: Oriental COCOSDA2008
  • 発表場所: 京都
  • 年月日: 2008-11-26
• [学会発表] 音響的特徴を用いた統計的手法による断片発話の自動抽出 (2008)
  • 著者名/発表者名: 瀬戸山勝義
  • 学会等名: 日本音響学会2008年秋季研究発表会
  • 発表場所: 福岡
  • 年月日: 2008-09-10
• [学会発表] Automatic de-tection of participant status and topic changes in natural spoken dialogues (2008)
  • 著者名/発表者名: ニック・キャンベル
  • 学会等名: 日本音響学会2008年秋季研究発表会
  • 発表場所: 福岡
  • 年月日: 2008-09-10
• [学会発表] Automatic Laughter detection for Measuring Discourse Engagement. (2008)
  • 著者名/発表者名: ニック・キャンベル
  • 学会等名: 日本音響学会2008年秋季研究発表会
  • 発表場所: 福岡
  • 年月日: 2008-09-10
• [学会発表] Timing Expec-tancies in Japanese Speech (2008)
  • 著者名/発表者名: ニック・キャンベル
  • 学会等名: 2nd International Workshop in Language and Speech Science
  • 発表場所: 東京
  • 年月日: 2008-09-05
• [学会発表] Technology and Techniques for Talking Together (2008)
  • 著者名/発表者名: ニック・キャンベル
  • 学会等名: the Third International Conference on Cognitive Science
  • 発表場所: モスクワ,(ロシア)
  • 年月日: 2008-06-25
• [学会発表] Acoustic Correlates of Politeness (2008)
  • 著者名/発表者名: Mark CAMPANA
  • 学会等名: 4th International Sym-posium on Politeness (LPRG)
  • 発表場所: マラケシュ,(モロッコ)
  • 年月日: 2008-06-01
• [学会発表] Resources for Synthesis (2008)
  • 著者名/発表者名: ニック・キャンベル
  • 学会等名: LREC2008 Work-shop (Cocosda/WRTE Workshop)
  • 発表場所: マラケシュ,(モロッコ)
  • 年月日: 2008-06-01
• [学会発表] Tools & Re-sources for visualizing Conversa-tional-Speech Interaction (2008)
  • 著者名/発表者名: ニック・キャンベル
  • 学会等名: LREC2008
  • 発表場所: マラケシュ,(モロッコ)
  • 年月日: 2008-05-30
• [学会発表] Speaking Style Variation and Speaker Personality (2008)
  • 著者名/発表者名: ニック・キャンベル
  • 学会等名: Speech Prosody 2008
  • 発表場所: カンピナス,(ブラジル)
  • 年月日: 2008-05-08
• [学会発表] Laughter in conversational speech .more than just amusement (2008)
  • 著者名/発表者名: ニック・キャンベル
  • 学会等名: EMUS-Expressivity in Music and Speech
  • 発表場所: カンピナス,(ブラジル)
  • 年月日: 2008-05-05
• [学会発表] Detecting Pro-sodic Boundaries in Spoken Dialogues through use of Non-lexical Expres-sions (2008)
  • 著者名/発表者名: ニック・キャンベル
  • 学会等名: PCC2008 (the8th Phonetic Conference of China)
  • 発表場所: 北京,中国
  • 年月日: 2008-04-19
• [学会発表] Active listening characteristics confirm spoken dia-logue to be a very two-way interactive process. (2008)
  • 著者名/発表者名: ニック・キャンベル
  • 学会等名: 日本音響学会
  • 発表場所: 千葉
  • 年月日: 2008-03-19
• [学会発表] 断片発話の韻律特徴による分類 (2008)
  • 著者名/発表者名: 瀬戸山勝義
  • 学会等名: 日本音響学会2008年春季研究発表会
  • 発表場所: 千葉
  • 年月日: 2008-03-19
• [学会発表] 非語彙的な表現を利用した音声対話の節境界同定の検討 (2008)
  • 著者名/発表者名: 牧本慎平
  • 学会等名: 言語処理学会第14回年次大会
  • 発表場所: 東京
  • 年月日: 2008-03-18
• [学会発表] 音響的特徴を用いた機会学習によるノンバーバル発話の意図自動識別の検討」 (2008)
  • 著者名/発表者名: 吉川哲史
  • 学会等名: 日本音響学会2008年春季研究発表会
  • 発表場所: 千葉
  • 年月日: 2008-03-18
• [学会発表] 音響的特徴に基づくノンバーバル発話の意図自動識別の検討 (2008)
  • 著者名/発表者名: 吉川哲史
  • 学会等名: 第74回音楽情報科学研究会・第70回音声言語情報処理研究会共催研究会
  • 発表場所: 静岡
  • 年月日: 2008-02-09
• [学会発表] 統計学習を用いた対話からの非言語的表現の抽出 (2008)
  • 著者名/発表者名: 牧本慎平
  • 学会等名: 第74回音楽情報科学研究会・第70回音声言語情報処理研究会共催研究会
  • 発表場所: 静岡
  • 年月日: 2008-02-09
• [学会発表] Interactive Speech Technology. (2008)
  • 著者名/発表者名: ニック・キャンベル
  • 学会等名: International Workshop on Interaction Dynamics Embodiment, and Implicit Primordial Knowledge Model.
  • 発表場所: 京都
  • 年月日: 2008-01-15
• [学会発表] Resources for Interacting with Large-Corpus Speech Data. (2007)
  • 著者名/発表者名: ニック・キャンベル
  • 学会等名: Oriental COCOSDA
  • 発表場所: ハノイ,(ベトナム)
  • 年月日: 2007-12-05
• [学会発表] 発話「うん」の音響的特徴に基づく意図の自動識別 (2007)
  • 著者名/発表者名: 吉川哲史
  • 学会等名: 日本音響学会2007年秋季研究発表会
  • 発表場所: 山梨
  • 年月日: 2007-09-19
• [学会発表] The Listening Eye. : a non-verbal sensing device for interactive systems. (2007)
  • 著者名/発表者名: ニック・キャンベル
  • 学会等名: ACII2007
  • 発表場所: リスボン(ポルトガル)
  • 年月日: 2007-09-12
• [学会発表] Translating Conversational Speech to Standard Linguistics Form. (2007)
  • 著者名/発表者名: ニック・キャンベル
  • 学会等名: Interspeech2007
  • 発表場所: アントワープ(ベルギー)
  • 年月日: 2007-08-31
• [学会発表] Processing Image and Audio Information for Recognizing Discourse Participation Status through Features of Face and Voice. (2007)
  • 著者名/発表者名: ニック・キャンベル
  • 学会等名: Interspeech2007
  • 発表場所: アントワープ(ベルギー)
  • 年月日: 2007-08-29
• [学会発表] Approaches to Conversational Speech Rhythm : Speech Activity In Two-Person Telephone Dialogues. (2007)
  • 著者名/発表者名: ニック・キャンベル
  • 学会等名: ICPh2007
  • 発表場所: サーブルケン(ドイツ)
  • 年月日: 2007-08-09
• [学会発表] Changes in Voice Quality with respect to Social Conditions. (2007)
  • 著者名/発表者名: ニック・キャンベル
  • 学会等名: ICPh2007
  • 発表場所: サーブルケン(ドイツ)
  • 年月日: 2007-08-06
• [学会発表] Whom we laugh with affects how we laugh. Workshop (2007)
  • 著者名/発表者名: ニック・キャンベル
  • 学会等名: The Phonetics of Laughter 2007
  • 発表場所: サーブルケン(ドイツ)
  • 年月日: 2007-08-05
• [学会発表] How to follow a conversation without listening to the words. (2007)
  • 著者名/発表者名: ニック・キャンベル
  • 学会等名: ParaLing' 07
  • 発表場所: サーブルケン(ドイツ)
  • 年月日: 2007-08-03
• [学会発表] On the Use of Nonverbal Sounds in Human Communi-cation. (2007)
  • 著者名/発表者名: ニック・キャンベル
  • 学会等名: MLMI-07 (Machine Learning and Multi)
  • 発表場所: サーブルケン(ドイツ)
  • 年月日: 2007-08-03
• [図書] Speech Technology (2011)
  • 著者名/発表者名: ニック・キャンベル
  • 総ページ数: 105-121
  • 出版者: Springer
• [図書] Development of Multimodal Interfaces (2010)
  • 著者名/発表者名: ニック・キャンベル
  • 出版者: Active Lis-tening&Synchrony, Springer
• [図書] Development of Multimodal Interfaces (2010)
  • 著者名/発表者名: ニック・キャンベル
  • 出版者: Active Lis-tening & Synchrony, Springer
• [図書] 音声文法 Speech and Grammar (2010)
  • 著者名/発表者名: ニック・キャンベル
  • 総ページ数: 137-148
  • 出版者: くろしお出版
• [図書] コミュニケーション、どうする?どうなる? (2010)
  • 著者名/発表者名: ニック・キャンベル
  • 出版者: (林博司・定延利之=編),ひつじ書房
• [図書] Verbal and Non-verbal Features of Human-Human and Human-Machine Interaction (Individual Traits of Speaking Style and Speech Rhythm in a Spoken Discourse) (2008)
  • 著者名/発表者名: ニック・キャンベル
  • 総ページ数: 108-120
  • 出版者: Springer
• [図書] Machine Learning fro Multimodal Interaction (2008)
  • 著者名/発表者名: ニック・キャンベル
  • 総ページ数: 1-10
  • 出版者: LNCS 4892, Springer
• [図書] Verbal and Non-verbal Communication Behaviors (2008)
  • 著者名/発表者名: ニック・キャンベル
  • 総ページ数: 117-128
  • 出版者: LNAI 4775, Springer
• [備考] ホームページ等
  • URL: http://sspnet.eu/2010/02/freetalk/
• [備考]
  • URL: http://www.speech-data.jp/nick/mmx/d64.html