• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

サービスロボットのための雑音に頑健な音声認識および音声対話の研究

研究課題

研究課題/領域番号 19K24343
研究種目

研究活動スタート支援

配分区分基金
審査区分 1001:情報科学、情報工学およびその関連分野
研究機関神戸大学

研究代表者

高島 遼一  神戸大学, 都市安全研究センター, 准教授 (50846102)

研究期間 (年度) 2019-08-30 – 2021-03-31
研究課題ステータス 完了 (2020年度)
配分額 *注記
2,860千円 (直接経費: 2,200千円、間接経費: 660千円)
2020年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円)
2019年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円)
キーワード音声認識 / 音声対話 / ニューラルネットワーク / 機械学習
研究開始時の研究の概要

近年の労働力不足の問題解決のため、サービスロボットに対するニーズが高まっている。本研究では、サービスロボットとの円滑なインタラクションを目的とした、音声対話の研究を行う。実用シーンでは雑音の大きい音声が入力されやすく、音声認識が誤りやすい状況下で適切な応答を出力する必要がある。従来では、この問題に対して雑音除去、音声認識、対話技術が個別に研究されており、必ずしも対話成功という目的に対して全体最適化がされていない。本研究では、音声入力から対話までの全モジュールを、対話成功の目的から全体最適化することで性能向上を目指すとともに、人間の聴覚から対話までの仕組みを機械学習の観点で理解することを目指す。

研究成果の概要

本研究では、音声対話の分野において従来独立に最適化されていた音声認識や対話のモジュールを一体化し、音声対話成功という損失関数の元で学習するEnd-to-Endモデルの構築を最終目的としている。しかし一般にこのモデルの学習には膨大な学習データが必要であるため、限られたデータ量でモデルを学習するための手法の開発が必要である。そこで本研究では、音声認識と対話のモデルに対して限られたデータ量であっても安定した学習を行うための手法として、多段階の転移学習や自己教師あり学習、外部知識の利用といった手法を提案し、音声認識、対話タスクにおいて従来法よりも性能の高いモデルを学習可能であることを確認した。

研究成果の学術的意義や社会的意義

近年の労働力不足の問題解決のため、サービスロボットに対するニーズが高まっている。音声によるロボットとの対話はユーザにとって馴染みやすいが、高雑音環境といった音声認識が困難な状況では期待した対話性能が得られない。従来、このような問題に対して音声認識、対話技術が個別に最適化される形で研究されており、必ずしも音声対話成功という最終目的に対して最適化がされていなかった。これらのモジュールを一本化して全体最適化が行えればさらに性能向上が見込まれるが、これには膨大な学習データが必要である。本研究の成果は、限られた学習データで安定してモデルを学習する方式であり、前述の全体最適化に利用可能と期待している。

報告書

(3件)
  • 2020 実績報告書   研究成果報告書 ( PDF )
  • 2019 実施状況報告書
  • 研究成果

    (22件)

すべて 2021 2020 2019 その他

すべて 雑誌論文 (1件) (うち国際共著 1件、 査読あり 1件、 オープンアクセス 1件) 学会発表 (20件) (うち国際学会 5件) 備考 (1件)

  • [雑誌論文] Knowledge transferability between the speech data of persons with dysarthria speaking different languages for dysarthric speech recognition2019

    • 著者名/発表者名
      Yuki Takashima, Ryoichi Takashima, Tetsuya Takiguchi, Yasuo Ariki
    • 雑誌名

      IEEE Access

      巻: 7 ページ: 164320-164326

    • DOI

      10.1109/access.2019.2951856

    • NAID

      120006818768

    • 関連する報告書
      2019 実施状況報告書
    • 査読あり / オープンアクセス / 国際共著
  • [学会発表] 口唇口蓋裂者の音声認識のためのデータ拡張方式の検討2021

    • 著者名/発表者名
      冨士原 健斗,高島 遼一,杉山 千尋,田中 信和,野原 幹司,野崎 一徳,滝口 哲也
    • 学会等名
      日本音響学会2021年春季研究発表会講演論文集
    • 関連する報告書
      2020 実績報告書
  • [学会発表] Dysarthric Speech Conversion by Learning Disentangled Representations with Non-parallel Data2021

    • 著者名/発表者名
      陳 訓泉,陳 金輝,高島 遼一,滝口 哲也
    • 学会等名
      日本音響学会2021年春季研究発表会講演論文集
    • 関連する報告書
      2020 実績報告書
  • [学会発表] 自己教師あり学習によるラベル無し自由発話を用いた構音障害者音声認識2021

    • 著者名/発表者名
      澤 佑哉,冨士原 健斗,相原 龍,高島 遼一,滝口 哲也,本山 信明
    • 学会等名
      日本音響学会2021年春季研究発表会講演論文集
    • 関連する報告書
      2020 実績報告書
  • [学会発表] Dysarthric Speech Recognition Based on Deep Metric Learning2020

    • 著者名/発表者名
      Yuki Takashima, Ryoichi Takashima, Tetsuya Takiguchi, Yasuo Ariki
    • 学会等名
      Interspeech
    • 関連する報告書
      2020 実績報告書
    • 国際学会
  • [学会発表] Convolutional neural networks Memory Optimization Inference with Splitting Image2020

    • 著者名/発表者名
      Weihao Zhuang, Tristan Hascoet, Ryoichi Takashima, Tetsuya Takiguchi and Yasuo Ariki
    • 学会等名
      IEEE Global Conference on Consumer Electronics (GCCE)
    • 関連する報告書
      2020 実績報告書
    • 国際学会
  • [学会発表] An Investigation of End-to-End Speech Recognition Using Model Adaptation for Dysarthric Speakers2020

    • 著者名/発表者名
      Yuya Sawa, Ryoichi Takashima, Tetsuya Takiguchi
    • 学会等名
      IEEE Global Conference on Consumer Electronics (GCCE)
    • 関連する報告書
      2020 実績報告書
    • 国際学会
  • [学会発表] 構音障害者音声認識における発話辞書適応の検討2020

    • 著者名/発表者名
      澤 佑哉, 高島 遼一, 滝口 哲也, 有木 康雄
    • 学会等名
      日本音響学会2020年秋季研究発表会講演論文集
    • 関連する報告書
      2020 実績報告書
  • [学会発表] Two-step acoustic model adaptation for dysarthric speech recognition2020

    • 著者名/発表者名
      Ryoichi Takashima, Tetsuya Takiguchi, Yasuo Ariki
    • 学会等名
      2020 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)
    • 関連する報告書
      2019 実施状況報告書
    • 国際学会
  • [学会発表] Optimizing the Computational Efficiency of 3D Segmentation Models for Connectomics2020

    • 著者名/発表者名
      Weihao Zhuang, Hascoet Tristan, Ryoichi Takashima, Tetsuya Takiguchi, Yasuo Ariki
    • 学会等名
      The 26th International Workshop on Frontiers of Computer Vision (IW-FCV 2020)
    • 関連する報告書
      2019 実施状況報告書
    • 国際学会
  • [学会発表] Hybrid CTC/attentionモデルを用いた構音障害者音声認識の検討2020

    • 著者名/発表者名
      澤佑哉, 高島遼一, 滝口哲也, 有木康雄
    • 学会等名
      日本音響学会2020年春季研究発表会講演論文集
    • 関連する報告書
      2019 実施状況報告書
  • [学会発表] 少量データを用いた構音障害者音声合成の健常者モデルによる明瞭性改善2020

    • 著者名/発表者名
      南坂竜翔, 高島遼一, 滝口哲也
    • 学会等名
      日本音響学会2020年春季研究発表会講演論文集
    • 関連する報告書
      2019 実施状況報告書
  • [学会発表] Differentiable Programmingを用いた強化学習の最適化2020

    • 著者名/発表者名
      黄伊莎, Tristan Hascoet, 高島遼一, 滝口哲也, 有木康雄
    • 学会等名
      情報処理学会第82回全国大会講演論文集
    • 関連する報告書
      2019 実施状況報告書
  • [学会発表] ニューロンセグメンテーションにおけるマルチドメイン学習による汎化性能の改善2020

    • 著者名/発表者名
      長谷川貴大, Tristan Hascoet, 高島遼一, 滝口哲也, 有木康雄
    • 学会等名
      情報処理学会第82回全国大会講演論文集
    • 関連する報告書
      2019 実施状況報告書
  • [学会発表] 構音障害者音声認識のための健常者音声及び他言語障害者音声を用いた転移学習2019

    • 著者名/発表者名
      高島悠樹, 高島遼一, 滝口哲也, 有木康雄
    • 学会等名
      電子情報通信学会技術研究報告
    • 関連する報告書
      2019 実施状況報告書
  • [学会発表] 外部知識を用いた雑談対話システムの汎化性能向上の検討2019

    • 著者名/発表者名
      麻生大聖, 高島遼一, 滝口哲也, 有木康雄
    • 学会等名
      日本音響学会2019年秋季研究発表会講演論文集
    • 関連する報告書
      2019 実施状況報告書
  • [学会発表] Speech-to-Speech Translation using Dual Learning and Prosody Conversion2019

    • 著者名/発表者名
      Zhaojie Luo, Ryoichi Takashima, Tetsuya Takiguchi, Yasuo Ariki
    • 学会等名
      日本音響学会2019年秋季研究発表会講演論文集
    • 関連する報告書
      2019 実施状況報告書
  • [学会発表] 構音障害者の少量データを用いた深層学習による音声合成の検討2019

    • 著者名/発表者名
      南坂竜翔, 高島遼一, 滝口哲也, 有木康雄
    • 学会等名
      日本音響学会2019年秋季研究発表会講演論文集
    • 関連する報告書
      2019 実施状況報告書
  • [学会発表] 構音障害者を対象とした日本語大語彙連続音声認識の検討2019

    • 著者名/発表者名
      高島遼一, 滝口哲也, 有木康雄
    • 学会等名
      日本音響学会2019年秋季研究発表会講演論文集
    • 関連する報告書
      2019 実施状況報告書
  • [学会発表] WordNetを用いた雑談対話システムの汎化性能の向上2019

    • 著者名/発表者名
      麻生大聖, 高島遼一, 滝口哲也, 有木康雄
    • 学会等名
      電子情報通信学会技術研究報告
    • 関連する報告書
      2019 実施状況報告書
  • [学会発表] Reduce GPU Memory Usage of Training Neural Network by CPU Offloading2019

    • 著者名/発表者名
      Weihao Zhuang, Tristan Hascoet, Ryoichi Takashima, Tetsuya Takiguchi, Yasuo Ariki
    • 学会等名
      第22回画像の認識・理解シンポジウム
    • 関連する報告書
      2019 実施状況報告書
  • [備考] 研究者webページ

    • URL

      http://www.me.cs.scitec.kobe-u.ac.jp/~rtakashima/

    • 関連する報告書
      2020 実績報告書 2019 実施状況報告書

URL: 

公開日: 2019-09-03   更新日: 2022-01-27  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi