半自律的な音声認識による講演・講義への字幕付与

2018 年度 実績報告書

• 研究課題/領域番号: 16H02847
• 研究機関: 京都大学
• 研究代表者: 河原 達也 京都大学, 情報学研究科, 教授 (00234104)
• 研究分担者: 秋田 祐哉 京都大学, 経済学研究科, 准教授 (90402742)
• 研究期間 (年度): 2016-04-01 – 2019-03-31
• キーワード: 音声認識 / コンテンツ・アーカイブ / 機械学習 / 字幕付与

研究実績の概要

新たな音声認識のモデル・アルゴリズムについて研究するとともに、講演や講義を対象とした字幕付与のシステムの改善を行った。
(1) ニューラルネットワークに基づいて音響モデルと言語モデルを一体的にモデル化し、入力音声から認識結果の単語列を直接求めるEnd-to-End音声認識を実現した。特に単語を単位としたモデルを安定して学習する方式を提案し、従来の一般的な音声認識手法と比較して、高い認識精度を実現しながら、処理時間を1/30以下にできることを示した。
(2) 上記のEnd-to-End音声認識システムは語彙も含めて学習データに特化する問題があるので、新しいドメインに適応する様々な方法を検討した。特に、音声合成によって疑似的に学習用音声データを生成する方法を提案し、実現可能性を示した。
(3) 講演・講義の音声ファイルに字幕を付与するシステム(http://caption.ist.i.kyoto-u.ac.jp/)を引き続き試験運用した。本システムは、政策研究大学院大学や国立国語研究所などでも利用されている。
(4) 聴覚障害者の情報保障のためにリアルタイムで字幕を付与するソフトIPtalk(http://www.s-kurita.net/)に、本プロジェクトで開発してきた音声認識ソフトを統合して一般に公開した。本プロジェクト及びこのソフトの紹介を兼ねて、2018年12月に京都大学において『聴覚障害者のための字幕付与技術』シンポジウムを開催した。聴覚障害者や要約筆記者などを含めて143名の参加者があり、当該技術の展望について様々な意見交換を行った。

現在までの達成度 (段落)

平成30年度が最終年度であるため、記入しない。

今後の研究の推進方策

平成30年度が最終年度であるため、記入しない。

研究成果

• [雑誌論文] Unsupervised speech enhancement based on multichannel NMF-informed beamforming for noise-robust automatic speech recognition (2019)
  • 著者名/発表者名: K.Shimada, Y.Bando, M.Mimura, K.Itoyama, K.Yoshii, and T.Kawahara
  • 雑誌名: IEEE/ACM Trans. Audio, Speech & Language Processing 巻: 27 ページ: (to appear)
  • DOI: https://doi.org/10.1109/TASLP.2019.2907015
  • 査読あり
• [雑誌論文] Exploiting automatic speech recognition errors to enhance partial and synchronized caption for facilitating second language listening (2018)
  • 著者名/発表者名: M.Mirzaei, K.Meshgi, and T.Kawahara
  • 雑誌名: Computer Speech and Language 巻: 49 ページ: 17-36
  • DOI: https://doi.org/10.1016/j.csl.2017.11.001
  • 査読あり
• [雑誌論文] Engagement recognition by a latent character model based on multimodal listener behaviors in spoken dialogue (2018)
  • 著者名/発表者名: K.Inoue, D.Lala, K.Takanashi, and T.Kawahara
  • 雑誌名: APSIPA Trans. Signal & Information Processing 巻: 7-e9 ページ: 1-16
  • DOI: https://doi.org/10.1017/ATSIP.2018.11
  • 査読あり / オープンアクセス
• [雑誌論文] 人間型ロボットのキャラクタ表現のための対話の振る舞い制御モデル (2018)
  • 著者名/発表者名: 山本賢太, 井上昂治, 中村静, 高梨克也, 河原達也
  • 雑誌名: 人工知能学会論文誌 巻: 33 ページ: C--I37_1--9
  • DOI: https://doi.org/10.1527/tjsai.C-I37
  • 査読あり
• [学会発表] Acoustic-to-word attention-based model complemented with character-level CTC-based model (2018)
  • 著者名/発表者名: S.Ueno, H.Inaguma, M.Mimura, and T.Kawahara
  • 学会等名: Proc. IEEE-ICASSP
  • 国際学会
• [学会発表] An end-to-end approach to joint social signal detection and automatic speech recognition (2018)
  • 著者名/発表者名: H.Inaguma, M.Mimura, K.Inoue, K.Yoshii, and T.Kawahara
  • 学会等名: Proc. IEEE-ICASSP
  • 国際学会
• [学会発表] Leveraging sequence-to-sequence speech synthesis for enhancing acoustic-to-word speech recognition (2018)
  • 著者名/発表者名: M.Mimura, S.Ueno, H.Inaguma, S.Sakai, and T.Kawahara
  • 学会等名: Proc. IEEE Spoken Language Technology Workshop (SLT)
  • 国際学会
• [学会発表] Improving OOV detection and resolution with external language models in acoustic-to-word ASR (2018)
  • 著者名/発表者名: H.Inaguma, M.Mimura, S.Sakai, and T.Kawahara
  • 学会等名: Proc. IEEE Spoken Language Technology Workshop (SLT)
  • 国際学会
• [学会発表] Spoken dialogue system for a human-like conversational robot ERICA (2018)
  • 著者名/発表者名: T.Kawahara
  • 学会等名: Proc. Int'l Workshop Spoken Dialogue Systems (IWSDS)
  • 国際学会 / 招待講演
• [備考] 音声認識技術を用いた字幕付与支援プロジェクト
  • URL: http://www.sap.ist.i.kyoto-u.ac.jp/jimaku/
• [備考] 音声認識を用いた自動字幕作成システム
  • URL: http://caption.ist.i.kyoto-u.ac.jp/