• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Development of Passive and Active Conversation Information Collection System Using Close-Talk Microphone and Throat Microphone

Research Project

Project/Area Number 16K01543
Research Category

Grant-in-Aid for Scientific Research (C)

Allocation TypeMulti-year Fund
Section一般
Research Field Rehabilitation science/Welfare engineering
Research InstitutionShizuoka University

Principal Investigator

Nishida Masafumi  静岡大学, 情報学部, 准教授 (80361442)

Co-Investigator(Kenkyū-buntansha) 西村 雅史  静岡大学, 情報学部, 教授 (60740363)
Project Period (FY) 2016-04-01 – 2019-03-31
Project Status Completed (Fiscal Year 2018)
Budget Amount *help
¥3,510,000 (Direct Cost: ¥2,700,000、Indirect Cost: ¥810,000)
Fiscal Year 2018: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000)
Fiscal Year 2017: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000)
Fiscal Year 2016: ¥2,210,000 (Direct Cost: ¥1,700,000、Indirect Cost: ¥510,000)
Keywords高齢者 / 音声対話 / 雑談 / 情報収集 / 非言語音響情報 / 話題誘導 / 発話欲求度 / 属格ペア / 咽喉マイク / コンデンサマイク / 音声認識 / DNN / LSTM / 知識蒸留 / 発話区間 / 対話破綻 / 発話区間検出 / 音声等認識 / 機械学習
Outline of Final Research Achievements

In this study, we developed a system that gathers necessary information through spoken chatting for elderly people. The response close to the human could be obtained by selecting the response of the system using only nonverbal acoustic information as user input of this system. We proposed a method to control a topic according to the user's utterance desire. The proposed method can suppress the lowering of the dialogue satisfaction and collect necessary information compared to the dialogue strategy which shifts the topic close to the present topic. We also proposed a method to control a topic using pair of genitive cases. The proposed method realized a more natural transition of topics compared to the conventional method of topic induction with only one word.

Academic Significance and Societal Importance of the Research Achievements

介護負担を軽減するための手段として高齢者の話し相手となる雑談対話システムが期待されているが,従来の多くのシステムはテキスト入力を前提としていた.それに対して本研究では,音声で雑談しながら体調などの必要な情報を収集できるシステムを開発した.本システムにより情報を収集するだけでなく,音声で会話することで認知症の予防にも効果が期待され,社会的意義は大きい.また,これまで対話のどのタイミングでどの話題に誘導すべきかの検討が不十分であったが,本研究で提案した発話欲求度と属格ペアによる手法により,自然でユーザの満足度を低下させず情報を収集できることは,学術的意義が大きい.

Report

(4 results)
  • 2018 Annual Research Report   Final Research Report ( PDF )
  • 2017 Research-status Report
  • 2016 Research-status Report
  • Research Products

    (24 results)

All 2019 2018 2017 2016

All Presentation (24 results) (of which Int'l Joint Research: 6 results)

  • [Presentation] 咽喉マイクの大語彙音声認識のための知識蒸留2019

    • Author(s)
      鈴木 貴仁,緒方 淳,綱川 隆司,西田 昌史,西村 雅史
    • Organizer
      情報処理学会第81回全国大会
    • Related Report
      2018 Annual Research Report
  • [Presentation] Bottleneck Feature-mediated DNN-based Feature Mapping for Throat Microphone Speech Recognition2018

    • Author(s)
      T. Suzuki, J. Ogata, T. Tsunakawa, M. Nishida, M. Nishimura
    • Organizer
      10th Asia-Pacific Signal and Information Processing Association (APSIPA)
    • Related Report
      2018 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Dialogue Breakdown Detection Based on Nonlinguistic Acoustic Information2018

    • Author(s)
      M. Abe, T. Tsunakawa, M. Nishida, M. Nishimura
    • Organizer
      IEEE 7th Global Conference on Consumer Electronics (GCCE)
    • Related Report
      2018 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 深層学習に基づく特徴量変換を用いた咽喉マイクの音声認識2018

    • Author(s)
      鈴木 貴仁,緒方 淳,綱川 隆司,西田 昌史,西村 雅史
    • Organizer
      第123回音声言語情報処理研究会
    • Related Report
      2018 Annual Research Report
  • [Presentation] 咽喉音による音声認識のための収録デバイスに関する検討2018

    • Author(s)
      鈴木 貴仁,緒方 淳,綱川 隆司,西田 昌史,西村 雅史
    • Organizer
      日本音響学会2018年秋季研究発表会
    • Related Report
      2018 Annual Research Report
  • [Presentation] Analysis and Estimation of User's Motivation of Conversation by Using Acoustic Features2018

    • Author(s)
      R. Togai, M. Abe, T. Tsunakawa, M. Nishida, M. Nishimura
    • Organizer
      15th International Workshop on Nonlinear Circuits, Communications, and Signal Processing (NCSP)
    • Related Report
      2017 Research-status Report
    • Int'l Joint Research
  • [Presentation] Conversational Speech Recognition Using Multiple Wearable Microphones2018

    • Author(s)
      S. Lin, T. Tsunakawa, M. Nishida, M. Nishimura
    • Organizer
      15th International Workshop on Nonlinear Circuits, Communications, and Signal Processing (NCSP)
    • Related Report
      2017 Research-status Report
    • Int'l Joint Research
  • [Presentation] 言語情報と音響情報を併用した対話破綻分類器の構築2018

    • Author(s)
      阿部 元樹,栂井 良太,綱川 隆司,西田 昌史,西村 雅史
    • Organizer
      情報処理学会第80回全国大会
    • Related Report
      2017 Research-status Report
  • [Presentation] 咽喉マイクを用いた発話区間検出に基づく多人数会話音声認識2018

    • Author(s)
      大高 祥裕,綱川 隆司,西田 昌史,西村 雅史
    • Organizer
      情報処理学会第80回全国大会
    • Related Report
      2017 Research-status Report
  • [Presentation] スペクトラム変換とボトルネック特徴量を用いた咽喉マイクの大語彙連続音声認識2018

    • Author(s)
      鈴木 貴仁,緒方 淳,綱川 隆司,西田 昌史,西村 雅史
    • Organizer
      日本音響学会2018年春季研究発表会
    • Related Report
      2017 Research-status Report
  • [Presentation] システム・ユーザ発話に着目した対話破綻検出2018

    • Author(s)
      阿部 元樹,栂井 良太,綱川 隆司,西田 昌史,西村 雅史
    • Organizer
      第120回音声言語情報処理研究会
    • Related Report
      2017 Research-status Report
  • [Presentation] 非言語音響情報を利用した対話破綻検出に関する検討2017

    • Author(s)
      阿部 元樹,栂井 良太,綱川 隆司,西田 昌史,西村雅史
    • Organizer
      情報処理学会第79回全国大会
    • Place of Presentation
      名古屋大学(愛知県名古屋市)
    • Year and Date
      2017-03-16
    • Related Report
      2016 Research-status Report
  • [Presentation] 非言語音響情報を利用した話題誘導を行う対話システムの検討2017

    • Author(s)
      栂井 良太,阿部 元樹,綱川 隆司,西田 昌史,西村雅史
    • Organizer
      情報処理学会第79回全国大会
    • Place of Presentation
      名古屋大学(愛知県名古屋市)
    • Year and Date
      2017-03-16
    • Related Report
      2016 Research-status Report
  • [Presentation] Voice Activity Detection Using Throat and Lavalier Microphones for Multi-Party Conversations2017

    • Author(s)
      Y. Otaka, T. Tsunakawa, M. Nishida, M. Nishimura
    • Organizer
      14th International Workshop on Nonlinear Circuits, Communications, and Signal Processing (NCSP)
    • Place of Presentation
      Hyatt Regency Guam (Guam USA)
    • Year and Date
      2017-02-28
    • Related Report
      2016 Research-status Report
    • Int'l Joint Research
  • [Presentation] DNN-based Feature Transformation for Speech Recognition Using Throat Microphone2017

    • Author(s)
      S. Lin, T. Tsunakawa, M. Nishida, M. Nishimura
    • Organizer
      9th Asia-Pacific Signal and Information Processing Association (APSIPA)
    • Related Report
      2017 Research-status Report
    • Int'l Joint Research
  • [Presentation] 属格ペアを用いた雑談対話の話題誘導とその評価2017

    • Author(s)
      栂井 良太,阿部 元樹,綱川 隆司,西田 昌史,西村 雅史
    • Organizer
      第8回対話システムシンポジウム
    • Related Report
      2017 Research-status Report
  • [Presentation] 音響情報を利用した音声対話システムにおける破綻検出2017

    • Author(s)
      阿部 元樹,栂井 良太,狩野 芳伸,綱川 隆司,西田 昌史,西村 雅史
    • Organizer
      第8回対話システムシンポジウム
    • Related Report
      2017 Research-status Report
  • [Presentation] 複数の装着型マイクを用いた多人数会話音声認識に関する検討2017

    • Author(s)
      林 升柯,綱川 隆司,西田 昌史,西村 雅史
    • Organizer
      日本音響学会2017年秋季研究発表会
    • Related Report
      2017 Research-status Report
  • [Presentation] 非言語音響情報を利用した話題誘導を行う情報収集対話システム2017

    • Author(s)
      栂井 良太,阿部 元樹,綱川 隆司,西田 昌史,西村 雅史
    • Organizer
      第16回情報科学技術フォーラム(FIT)
    • Related Report
      2017 Research-status Report
  • [Presentation] 個人差と対話行為を考慮した対話破綻検出に関する検討2017

    • Author(s)
      阿部 元樹,栂井 良太,綱川 隆司,西田 昌史,西村 雅史
    • Organizer
      第16回情報科学技術フォーラム(FIT)
    • Related Report
      2017 Research-status Report
  • [Presentation] 聞き役雑談対話システムのための非言語音響特徴量に関する検討2016

    • Author(s)
      栂井 良太,伊東 伸泰,綱川 隆司,西田 昌史,西村雅史
    • Organizer
      第15回情報科学技術フォーラム(FIT)
    • Place of Presentation
      富山大学(富山県富山市)
    • Year and Date
      2016-09-07
    • Related Report
      2016 Research-status Report
  • [Presentation] 咽喉マイクとピンマイクの同時集音に基づく多人数会話における発話区間推定2016

    • Author(s)
      大高 祥裕,西田 昌史,綱川 隆司,西村 雅史
    • Organizer
      第15回情報科学技術フォーラム(FIT)
    • Place of Presentation
      富山大学(富山県富山市)
    • Year and Date
      2016-09-07
    • Related Report
      2016 Research-status Report
  • [Presentation] 対話破綻検出のための音響情報分析2016

    • Author(s)
      阿部 元樹,栂井 良太,綱川 隆司,西田 昌史,西村 雅史
    • Organizer
      第14回情報学ワークショップ
    • Place of Presentation
      愛知県立大学(愛知県長久手市)
    • Related Report
      2016 Research-status Report
  • [Presentation] 咽喉マイクとピンマイクの同時集音に基づく多人数会話における発話区間推定に関する研究2016

    • Author(s)
      大高 祥裕,綱川 隆司,西田 昌史,西村 雅史
    • Organizer
      電子情報通信学会音声研究会
    • Place of Presentation
      静岡大学(静岡県浜松市)
    • Related Report
      2016 Research-status Report

URL: 

Published: 2016-04-21   Modified: 2020-03-30  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi