• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2013 Fiscal Year Research-status Report

MOSAIC: 自然で双方向的な対話処理モデル

Research Project

Project/Area Number 24500256
Research InstitutionNara Institute of Science and Technology

Principal Investigator

CAMPBELL Nick  奈良先端科学技術大学院大学, 情報科学研究科, 教授 (50395109)

Co-Investigator(Kenkyū-buntansha) 定延 利之  神戸大学, その他の研究科, 教授 (50235305)
Keywordsヒューマンインターフェース技術 / 非言語コミュニケーション / 感性情報処理 / 音声合成 / マルチモーダルインターフェース / バイオメトリックセンシング / 自律神経系
Research Abstract

平成12年から18年、独立行政法人科学技術振興機構(JST)の助成による研究「表現豊かな発話音声のコンピュータ処理システム」 において世界一音声大規模コーパスの収録を行った。このコーパスから対話インタラクション情報の分析を可能にした。本分析結果は 語彙的情報のみではなく、ノンバーバルコミュニケーションの重要性、詳細な声の使い方等の利用をモデル化可能にし、発話者の対話 意図・参加程度等のセンシング技術の開発を可能にした。 平成16年から平成18年の総務省 戦略的情報通信研究開発推進事業(SCOPE)の助成により「ヒューマンコミュニケーションの「場」が読めるロホットの研究開発(041307003)」の研究において、マルチモーダルつまり音声+ビデオを収録し、音声対話コーパスを作成し、声の調子と共に微妙な動作情報を含めて分析を行った。 今回その研究の延長として本研究課題において、発話者・参加者の心理的情報を具体的に計るため、音声やビデオと共にバイオメトリックセンサーを利用した。ans(Autonomic nervous system)情報とは、ガルバニック皮膚反応による物理的データである。アイルランドのダブリン大学と 共同で、”d-ans”データの収録を、Italian Institute of Technologyの研究者シャノン・ヘニング氏と行った。
”d-ans”コーパスの解析はイタリアのItalian Institute of Technology、アイルランドのダブリン大学とNAIST(奈良先端科学技術大学院大学)で行われ、コーパスの分析・モデル化の結果を論文に発表した。またその論文はLREC会議(Language resources and evaluation conference)で発表することになった。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

ダブリンのトリニティカレッジより中国人研究員をNAISTに招聘し、本研究に対するアイデアやコーパス利用についての意見を交換した。また、8月にイタリアのフィレンツェで開催されたInterspeech international conferenceで結果を発表し、セッションに招かれ、Prosody and Emotionで音声合成のサテライトワークショップを行った。このような学術的成果が示すように国際的に研究がすすみ、音声コミュニケーションの社交性が明らかになりつつあり達成度は高い。研究者の国際交流、共同収録・分析作業と出版を可能にした。
本研究により多くの国際的な学会で発表する事により、国際的に日本の研究の知名度を広めることに貢献した。また、自身の国際的な研究プロファイルが大幅に進歩した。現在のGoogle Scholar(*1)の評価はh-index(h指数 *2): 32(20), i10-index: 102(54), based on Citations(引用): 4499(1689)となっている。
(*1 Google Scholarとは学術研究資料の中から最も関連性の高い資料を探すことができるwebページである。)
(*2 h指数(h-Index)とは、物理学者ジョージ・E・ハーシュが引用索引データベースWeb of ScienceのTimes Cited(被引用数)を元に考案した指標で、論文数と被引用数とに基づいて、科学者の科学的貢献度を示すものである。http://scholar.google.com/citations?user=A1srct8AAAAJ&hl=en

Strategy for Future Research Activity

本研究の最終年度になる。5月にアイスランドで開催されるLREC会議(language resources and evaluation conference)に出席し発表を行う予定である。また、同じく5月にアイルランド ダブリンで開催される7th International Speech Prosody会議を共同開催する予定である。この7th International Speech Prosody会議では世界からおよそ350人の密接に関連する分野で研究を行っている研究者が出席する予定である。”d-ans”コーパスをウェブに公開し、国際的に利用可能にする予定である。具体的には(1)http://www.speech-data.jp/、(2)GSK 言語資源協会 http://www.gsk.or.jp/、(3)ELRA European Language Resources Association http://www.elra.info/、(4)International Standard Language Resource Number (ISLRN) にコーパスの登録を行う予定である。

Expenditure Plans for the Next FY Research Funding

ラベラーとして雇用していた有期契約職員の退職(出産)により、人件費が計画当初よりかからなかったため。
次年度は本研究の最終年度であり、機材投資よりも研究成果の周知に使用する計画ではあるが、更なる分析とコーパスのモデル化のためパソコンを購入予定である。また、研究結果の公表、データ配布のため新たなウェブサーバーが必要である。

  • Research Products

    (9 results)

All 2014 2013

All Journal Article (3 results) Presentation (4 results) Book (2 results)

  • [Journal Article] "Classification of social laughter in natural conversational speech",2013

    • Author(s)
      Tanaka Hiroki and Nick Campbell
    • Journal Title

      Journal of Computer Speech & Language

      Volume: Vol 28 (1) Pages: pg 314-325

    • DOI

      10.1016/j.csl.2013.07.004

  • [Journal Article] Investigating automatic measurements of prosodic accommodation and its dynamics in social interaction2013

    • Author(s)
      De Looze, C. and Scherer, S. and Vaughan, B. and Campbell
    • Journal Title

      Speech Communication

      Volume: 58 Pages: p11 - 34

    • DOI

      10.1016/j.specom.2013.10.002

  • [Journal Article] Refereed Original Articles D64: A Corpus of Richly Recorded Conversational Interaction2013

    • Author(s)
      Catharine Oertel, Fred Cummins, Jens Edlund, Petra Wagner, Nick Campbell
    • Journal Title

      Journal on Multimodal User Interfaces

      Volume: Volume 7, issue 1-2 Pages: pp 19-28

    • DOI

      10.1007/s12193-012-0108-6

  • [Presentation] "Exploring the Role of Laughter in Multiparty Conversation"2013

    • Author(s)
      Emer Gilmartin, Francesca Bonin, Carl Vogel and Nick Campbell
    • Organizer
      Proceedings (SemDial), semdial 2013,DialDam
    • Place of Presentation
      Amsterdam, Neatherlands.
    • Year and Date
      20131218-20131220
  • [Presentation] Herme, Yet Another Interactive Conversational Robot2013

    • Author(s)
      JinGuang Han, Gilmartin, E. , Campbell, N.
    • Organizer
      Affective Computing and Intelligent Interaction (ACII), 2013 Humaine Association Conference on
    • Place of Presentation
      Geneva, Switzerland.
    • Year and Date
      20130902-20130905
  • [Presentation] "Investigating fine temporal dynamics of prosodic and lexical accommodation"2013

    • Author(s)
      Francesca Bonin, Celine De Looze, Sucheta Ghosh, Emer Gilmartin, Carl Vogel, Anna Polychroniou, Hugues Salamin, Alessandro Vinciarelli and Nick Campbell
    • Organizer
      14th Annual Conference of the International Speech Communication Association, INTERSPEECH, 2013
    • Place of Presentation
      Lyon, France
    • Year and Date
      20130825-20130829
  • [Presentation] "Laugher and Topic Transition in Multiparty Conversation"2013

    • Author(s)
      Boeck, Bonin, Campbell, Edlund, De Kok, Poppe, Traum
    • Organizer
      Proceedings of the SIGDIAL 2013 Conference
    • Place of Presentation
      Metz, France
    • Year and Date
      20130822-20130824
  • [Book] More Than Just Words: Building a Chatty Robot / Natural Interaction with Robots, Knowbots and Smartphones2014

    • Author(s)
      Emer Gilmartin, Nick Campbell
    • Total Pages
      pp 179-185
    • Publisher
      Springer
  • [Book] Speech Technology and Conversational Activity in Human-Machine Interaction2013

    • Author(s)
      Matej Rojc & Nick Campbell
    • Total Pages
      434
    • Publisher
      CRC Press

URL: 

Published: 2015-05-28  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi