• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2017 年度 実施状況報告書

集音マイクと咽喉マイクを併用した受動的・能動的会話情報収集システムの開発

研究課題

研究課題/領域番号 16K01543
研究機関静岡大学

研究代表者

西田 昌史  静岡大学, 情報学部, 准教授 (80361442)

研究分担者 西村 雅史  静岡大学, 情報学部, 教授 (60740363)
研究期間 (年度) 2016-04-01 – 2019-03-31
キーワード発話区間 / 咽喉マイク / 音声認識 / 音声対話 / 対話破綻 / 話題誘導
研究実績の概要

今年度は,咽喉マイクを用いた発話区間検出と音声認識,音響情報と言語情報を利用した対話破綻検出,話題誘導を行う情報収集対話について取り組んだ.それぞれの研究成果について以下に述べる.発話区間検出において,咽喉マイクとピンマイクを併用した手法として,咽喉マイクとピンマイクのそれぞれの音声で発話及び非発話のGMMを学習し,両マイクの音声から得られた尤度の調和平均を求めて統合する手法を提案した.話者5名による1時間の自由会話データで評価を行った結果,F値が昨年度の手法では0.84に対して提案手法では0.9となり,精度の改善が得られた.音声認識においては,接話マイクと雑音の少ない咽喉マイクの音声を併用し,音響的なミスマッチと雑音が少ない音声をDNNを用いて推定する手法を提案した.話者10名による自由発話に対して36%程度発話を重畳させた音声を用いて評価を行った結果,接話マイク単体では文字誤り率45.3%に対して,提案手法では文字誤り率40%となり,認識精度の改善が得られた.対話破綻検出においては,システム発話とユーザ発話から抽出される言語情報とユーザ発話から抽出される音響情報を併用する手法を提案した.自動対話制御を行う対話システムと被験者が雑談対話を44対話行ったデータで評価した結果,音響情報と言語情報を単体で用いる場合に比べて両者を併用することで,対話破綻の検出精度を改善できることを明らかにした.話題誘導を行う情報収集対話においては,Wikipediaから自動抽出した属格ペアを用いた話題誘導によって,雑談対話のような広域ドメインにおいての自然な話題誘導を試みた.被験者5名を対象に話題誘導を行うシステムとテキストチャットをしてもらい,話題の遷移の自然さを5段階で評価した.その結果,属格ペアによる話題誘導は1単語のみの誘導と比べ, 自然性を5段階で0.8程度改善することができた.

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

発話区間検出では,多人数会話の音声認識の評価にも適用し,有効性を示すことができた.音声認識では,これまであまり検討されて来なかった咽喉マイクと接話マイクを併用することで発話重畳に頑健な音声認識を実現することができた.対話破綻検出では,これまであまり検討されて来なかった音響情報と言語情報を併用した手法の有効性を明らかにできた.話題誘導による情報収集対話では,属格ペアによる話題誘導がより自然な対話を実現できることが明らかになった.以上のことから,おおむね順調に進展しているといえる.

今後の研究の推進方策

対話破綻検出では,音声認識誤りが生じた場合の検証,音響情報と言語情報の組み合わせ方についての検討を行う予定である.話題誘導による情報収集対話では,発話欲求度の推定精度を向上させるために,様々な音響特徴量について検討を行い,POMDPなどを用いて推定ミスを前提とした対話戦略を獲得することによって,よりユーザ満足度の高い情報収集対話システムを構築する予定である.

次年度使用額が生じた理由

理由:当初の計画よりも学会発表の件数が少なかった.
使用計画:昨年度発表できなかった分、研究成果を広く公表できるように
より多く学会発表を行う予定である.

  • 研究成果

    (12件)

すべて 2018 2017

すべて 学会発表 (12件) (うち国際学会 3件)

  • [学会発表] Analysis and Estimation of User's Motivation of Conversation by Using Acoustic Features2018

    • 著者名/発表者名
      R. Togai, M. Abe, T. Tsunakawa, M. Nishida, M. Nishimura
    • 学会等名
      15th International Workshop on Nonlinear Circuits, Communications, and Signal Processing (NCSP)
    • 国際学会
  • [学会発表] Conversational Speech Recognition Using Multiple Wearable Microphones2018

    • 著者名/発表者名
      S. Lin, T. Tsunakawa, M. Nishida, M. Nishimura
    • 学会等名
      15th International Workshop on Nonlinear Circuits, Communications, and Signal Processing (NCSP)
    • 国際学会
  • [学会発表] 言語情報と音響情報を併用した対話破綻分類器の構築2018

    • 著者名/発表者名
      阿部 元樹,栂井 良太,綱川 隆司,西田 昌史,西村 雅史
    • 学会等名
      情報処理学会第80回全国大会
  • [学会発表] 咽喉マイクを用いた発話区間検出に基づく多人数会話音声認識2018

    • 著者名/発表者名
      大高 祥裕,綱川 隆司,西田 昌史,西村 雅史
    • 学会等名
      情報処理学会第80回全国大会
  • [学会発表] スペクトラム変換とボトルネック特徴量を用いた咽喉マイクの大語彙連続音声認識2018

    • 著者名/発表者名
      鈴木 貴仁,緒方 淳,綱川 隆司,西田 昌史,西村 雅史
    • 学会等名
      日本音響学会2018年春季研究発表会
  • [学会発表] システム・ユーザ発話に着目した対話破綻検出2018

    • 著者名/発表者名
      阿部 元樹,栂井 良太,綱川 隆司,西田 昌史,西村 雅史
    • 学会等名
      第120回音声言語情報処理研究会
  • [学会発表] DNN-based Feature Transformation for Speech Recognition Using Throat Microphone2017

    • 著者名/発表者名
      S. Lin, T. Tsunakawa, M. Nishida, M. Nishimura
    • 学会等名
      9th Asia-Pacific Signal and Information Processing Association (APSIPA)
    • 国際学会
  • [学会発表] 属格ペアを用いた雑談対話の話題誘導とその評価2017

    • 著者名/発表者名
      栂井 良太,阿部 元樹,綱川 隆司,西田 昌史,西村 雅史
    • 学会等名
      第8回対話システムシンポジウム
  • [学会発表] 音響情報を利用した音声対話システムにおける破綻検出2017

    • 著者名/発表者名
      阿部 元樹,栂井 良太,狩野 芳伸,綱川 隆司,西田 昌史,西村 雅史
    • 学会等名
      第8回対話システムシンポジウム
  • [学会発表] 複数の装着型マイクを用いた多人数会話音声認識に関する検討2017

    • 著者名/発表者名
      林 升柯,綱川 隆司,西田 昌史,西村 雅史
    • 学会等名
      日本音響学会2017年秋季研究発表会
  • [学会発表] 非言語音響情報を利用した話題誘導を行う情報収集対話システム2017

    • 著者名/発表者名
      栂井 良太,阿部 元樹,綱川 隆司,西田 昌史,西村 雅史
    • 学会等名
      第16回情報科学技術フォーラム(FIT)
  • [学会発表] 個人差と対話行為を考慮した対話破綻検出に関する検討2017

    • 著者名/発表者名
      阿部 元樹,栂井 良太,綱川 隆司,西田 昌史,西村 雅史
    • 学会等名
      第16回情報科学技術フォーラム(FIT)

URL: 

公開日: 2018-12-17  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi