• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

日本語講義音声の英語字幕付き教材を生成するための音声翻訳に関する研究

研究課題

研究課題/領域番号 25280062
研究種目

基盤研究(B)

配分区分一部基金
応募区分一般
研究分野 知覚情報処理
研究機関豊橋技術科学大学

研究代表者

中川 聖一  豊橋技術科学大学, リーディング大学院教育推進機構, 特命教授 (20115893)

研究分担者 秋葉 友良  豊橋技術科学大学, 工学(系)研究科(研究院), 准教授 (00356346)
井佐原 均  豊橋技術科学大学, 情報メディア基盤センター, 教授 (20358881)
山本 一公  中部大学, 工学部, 准教授 (40324230)
土屋 雅稔  豊橋技術科学大学, 情報メディア基盤センター, 准教授 (70378256)
研究期間 (年度) 2013-04-01 – 2018-03-31
研究課題ステータス 完了 (2017年度)
配分額 *注記
16,900千円 (直接経費: 13,000千円、間接経費: 3,900千円)
2016年度: 3,250千円 (直接経費: 2,500千円、間接経費: 750千円)
2015年度: 4,030千円 (直接経費: 3,100千円、間接経費: 930千円)
2014年度: 4,160千円 (直接経費: 3,200千円、間接経費: 960千円)
2013年度: 5,460千円 (直接経費: 4,200千円、間接経費: 1,260千円)
キーワード講義の字幕化 / 講義音声 / 日本語講義 / 音声認識 / 日英翻訳 / 英日翻訳 / 音声翻訳 / 機械翻訳 / 音声認識誤り / 字幕 / 整形 / 要約
研究成果の概要

まず、日本語と英語の講義音声のDNNによる音声認識システムを開発した。次に、英語講義音声の日本語字幕化の研究を行った。複数音声認識器の複数音声認識結果を統計的手法に基づいて機械翻訳し、言語モデル等で翻訳結果をリスコアリングすることにより、翻訳精度を向上させた。また、音声認識誤りに対処するため、音声認識器のシュミレーションによる学習データを増加させる方法の有効性を示した。予定研究期間を1年間延長し、統計的機械翻訳とニューラル機械翻訳を併用し、翻訳候補の逆翻訳に基づくリスコアリングにより、翻訳精度を大幅に向上させることが出来た。以上の手法を、日本語講義音声の英語への翻訳・字幕化にも適用した。

報告書

(6件)
  • 2017 実績報告書   研究成果報告書 ( PDF )
  • 2016 実績報告書
  • 2015 実績報告書
  • 2014 実績報告書
  • 2013 実績報告書
  • 研究成果

    (50件)

すべて 2018 2017 2016 2015 2014 その他

すべて 雑誌論文 (4件) (うち査読あり 2件、 オープンアクセス 2件) 学会発表 (43件) (うち国際学会 11件、 招待講演 2件) 図書 (2件) 備考 (1件)

  • [雑誌論文] 話者クラスタリングに基づく短時間発話音声認識2017

    • 著者名/発表者名
      関博史、榎並大介、朱発強、山本一公、中川聖一
    • 雑誌名

      電子情報通信学会論文誌D 情報・システム

      巻: J100-D 号: 1 ページ: 81-92

    • DOI

      10.14923/transinfj.2016JDP7063

    • ISSN
      1880-4535, 1881-0225
    • 年月日
      2017-01-01
    • 関連する報告書
      2016 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] 国際競争力の強化に今、求められるものーTKUNの提案ー2015

    • 著者名/発表者名
      井佐原均
    • 雑誌名

      JAPIO YEARBOOK

      巻: 2015 ページ: 80-81

    • 関連する報告書
      2015 実績報告書
  • [雑誌論文] 多言語情報発信シンポジュウム2015

    • 著者名/発表者名
      井佐原均
    • 雑誌名

      AAMTジャーナル

      巻: 59 ページ: 33-39

    • 関連する報告書
      2015 実績報告書
  • [雑誌論文] Single-channel dereverberation by feature mapping using cascade neural network for robust distant speaker identification and speech recognition2014

    • 著者名/発表者名
      Aditra Arie Nugraha, K. Yamamoto ,S. Nakagawa
    • 雑誌名

      EuraSip Journal on Audio, Speech and Music Processing

      巻: 2014 号: 1 ページ: 1-31

    • DOI

      10.1186/1687-4722-2014-13

    • 関連する報告書
      2014 実績報告書
    • 査読あり / オープンアクセス
  • [学会発表] 統計的翻訳とニューラル翻訳による翻訳候補の文の分散表現に基づくリスコアリングの検討2018

    • 著者名/発表者名
      佐橋広也、西村友樹、秋葉友良、中川聖一
    • 学会等名
      言語処理学会、第24回年次大会
    • 関連する報告書
      2017 実績報告書
  • [学会発表] 大規模単語資源を用いた大語彙ニューラル翻訳2018

    • 著者名/発表者名
      西村友樹、秋葉友良、塚田元
    • 学会等名
      言語処理学会、第24回年次大会
    • 関連する報告書
      2017 実績報告書
  • [学会発表] 統計的翻訳とニューラル翻訳による翻訳候補の文の分散表現と逆翻訳に基づくリスコアリングの検討2018

    • 著者名/発表者名
      佐橋広也、西村友樹、秋葉友良、中川聖一
    • 学会等名
      情報処理学会、音声情報処理研究会、自然言語研究会
    • 関連する報告書
      2017 実績報告書
  • [学会発表] 音声認識誤りを考慮した英語講義音声の日本語への音声翻訳システムの検討2017

    • 著者名/発表者名
      後藤統興、山本一公、中川聖一
    • 学会等名
      言語処理学会
    • 発表場所
      筑波
    • 年月日
      2017-03-16
    • 関連する報告書
      2016 実績報告書
  • [学会発表] DNNに基づくフィルタバンクの再学習による話者クラス適応の検討2017

    • 著者名/発表者名
      関博史、山本一公、中川聖一
    • 学会等名
      日本音響学会、春季研究発表会
    • 発表場所
      川崎
    • 年月日
      2017-03-15
    • 関連する報告書
      2016 実績報告書
  • [学会発表] A deep neural network integrated with filterbank learning for speech recognition2017

    • 著者名/発表者名
      H. Seki, K. Yamamoto, S. Nakagawa
    • 学会等名
      Proc. IEEE ICASSP
    • 発表場所
      NewOrleans, USA
    • 年月日
      2017-03-08
    • 関連する報告書
      2016 実績報告書
    • 国際学会
  • [学会発表] Robust lecture speech translation for speech misrecognition and its rescoring effect from multiple candidates2017

    • 著者名/発表者名
      K. Sahashi, N. Goto, H. Seki, K. Yamamoto, T. Akiba, S. Nakagawa
    • 学会等名
      ICAICTA
    • 関連する報告書
      2017 実績報告書
    • 国際学会
  • [学会発表] Effect of linguistic information in neural machine translation2017

    • 著者名/発表者名
      N. Nakamura, H. Isahara
    • 学会等名
      ICAICTA
    • 関連する報告書
      2017 実績報告書
    • 国際学会
  • [学会発表] Addressing unknown word problem for neural machine translation2017

    • 著者名/発表者名
      T. Nishimura, T. Akiba
    • 学会等名
      ICAICTA
    • 関連する報告書
      2017 実績報告書
    • 国際学会
  • [学会発表] 英日講義音声翻訳に対する音声認識誤りを考慮したパラレルコーパスの利用2016

    • 著者名/発表者名
      後藤統興、山本一公、中川聖一
    • 学会等名
      情報処理学会、音声言語情報処理研究会
    • 発表場所
      東京
    • 年月日
      2016-12-20
    • 関連する報告書
      2016 実績報告書
  • [学会発表] Domain adaptation of a speech translation system for lectures by utilizing frequently appearing parallel phrases in-domain2016

    • 著者名/発表者名
      N. Goto, K. Yamamoto, S. Nakagawa
    • 学会等名
      Proc. APSIPA
    • 発表場所
      Honkong
    • 年月日
      2016-12-16
    • 関連する報告書
      2016 実績報告書
    • 国際学会
  • [学会発表] Developing corpus of lecture utterances aligned to slide components2016

    • 著者名/発表者名
      R. Minamiguchi, M. Tsuchiya
    • 学会等名
      Proc. COLING Workshop on Asian Language Resources
    • 発表場所
      Osaka, Japan
    • 年月日
      2016-12-12
    • 関連する報告書
      2016 実績報告書
    • 国際学会
  • [学会発表] 音声認識のためのDNNに基づくフィルタバンクの学習の検討2016

    • 著者名/発表者名
      関博史、山本一公、中川聖一
    • 学会等名
      日本音響学会、秋季研究発表会
    • 発表場所
      富山
    • 年月日
      2016-09-16
    • 関連する報告書
      2016 実績報告書
  • [学会発表] Effects of class-based statistical machine translation on unknown names2016

    • 著者名/発表者名
      H. Mizukami, T. Akiba
    • 学会等名
      Proc. ICAICTA
    • 発表場所
      Penang, Malaysia
    • 年月日
      2016-08-18
    • 関連する報告書
      2016 実績報告書
    • 国際学会
  • [学会発表] Extraction of phrases useful for machine translation2016

    • 著者名/発表者名
      K. Saito, E. Yamamoto, M. Ueno, K. Kanzaki, H. Isahara
    • 学会等名
      Proc. ICAICTA
    • 発表場所
      Penang, Malaysia
    • 年月日
      2016-08-17
    • 関連する報告書
      2016 実績報告書
    • 国際学会
  • [学会発表] 対象ドメインの高頻出句に対する人手対訳追加による講義音声翻訳の検討2016

    • 著者名/発表者名
      後藤統興、山本一公、中川聖一
    • 学会等名
      情報処理学会、音声言語情報処理研究会
    • 発表場所
      東京
    • 年月日
      2016-05-06
    • 関連する報告書
      2016 実績報告書
  • [学会発表] 対象ドメイン内高頻出句の対訳作成による講義音声翻訳の検討2016

    • 著者名/発表者名
      後藤統興、山本一公、中川聖一
    • 学会等名
      日本音響学会春季研究発表会
    • 発表場所
      東京
    • 年月日
      2016-03-09
    • 関連する報告書
      2015 実績報告書
  • [学会発表] ベトナム語翻訳への教師なしバイリンガルトークナイザの適用2016

    • 著者名/発表者名
      野村高広、塚田元、秋葉友良
    • 学会等名
      言語処理学会年次大会
    • 発表場所
      仙台
    • 年月日
      2016-03-08
    • 関連する報告書
      2015 実績報告書
  • [学会発表] Improvement of word alignment models for Vietnameses-to-English translation2015

    • 著者名/発表者名
      Takahiro Nomura, Hajime Tsukada, Tomoyoshi Akiba
    • 学会等名
      Int. Workshop on Spoken Language translation
    • 発表場所
      Da Nang, Vietname
    • 年月日
      2015-12-03
    • 関連する報告書
      2015 実績報告書
    • 国際学会
  • [学会発表] 音声処理技術がヒトの能力を超える日2015

    • 著者名/発表者名
      中川聖一
    • 学会等名
      電子情報通信学会音声研究会
    • 発表場所
      名古屋
    • 年月日
      2015-12-02
    • 関連する報告書
      2015 実績報告書
    • 招待講演
  • [学会発表] English to Japanese spoken lecture translation system by using DNN-HMM and phrase-based SMT2015

    • 著者名/発表者名
      Norioki Goto, Kazumasa Yamamoto, Seiichi Nakagawa
    • 学会等名
      Inter. Conf. Advanced Informatics: ICAICTA
    • 発表場所
      Chonburi, Thailand
    • 年月日
      2015-08-20
    • 関連する報告書
      2015 実績報告書
  • [学会発表] Compilation and Evaluation of paraphrases representation list of compound verbs towards development of "control language for action"2015

    • 著者名/発表者名
      Tomoya Shirai, Hirofumi Yabumoto, Kyoko Kanzaki, Hitoshi Isahara
    • 学会等名
      Inter. Conf. Advanced Informatics: ICAICTA
    • 発表場所
      Chonburi, Thailand
    • 年月日
      2015-08-20
    • 関連する報告書
      2015 実績報告書
    • 国際学会
  • [学会発表] TAUS and Toyohashi University of Partnership2015

    • 著者名/発表者名
      Hitoshi Isahara
    • 学会等名
      TAUS Tokyo Executive Forum
    • 発表場所
      Tokyo
    • 年月日
      2015-04-09
    • 関連する報告書
      2015 実績報告書
    • 国際学会 / 招待講演
  • [学会発表] 年齢性別クラスタリング情報を考慮したDNN-HMMによる音声認識の検討2015

    • 著者名/発表者名
      関博史、山本一公、中川聖一
    • 学会等名
      日本音響学会、講演論文集
    • 発表場所
      東京
    • 年月日
      2015-03-16
    • 関連する報告書
      2014 実績報告書
  • [学会発表] 英語講義音声の認識と日本語への翻訳の検討2015

    • 著者名/発表者名
      後藤統興、山本一公、中川聖一
    • 学会等名
      日本音響学会、講演論文集
    • 発表場所
      東京
    • 年月日
      2015-03-16
    • 関連する報告書
      2014 実績報告書
  • [学会発表] 講義音声の前処理と2段階翻訳に基づく日英音声翻訳2015

    • 著者名/発表者名
      川口亮、山本一公、中川聖一
    • 学会等名
      情報処理学会、音声言語処理研究会
    • 発表場所
      鳥羽
    • 年月日
      2015-02-28
    • 関連する報告書
      2014 実績報告書
  • [学会発表] 年齢・性別に依存しないDNN-HMMによる音声認識法の検討2014

    • 著者名/発表者名
      関博史、山本一公、中川聖一
    • 学会等名
      情報処理学会、音声言語情報処理研究会
    • 発表場所
      東京
    • 年月日
      2014-12-16
    • 関連する報告書
      2014 実績報告書
  • [学会発表] Elimination of person names in spoken documents for privacy protection2014

    • 著者名/発表者名
      R. Kawaguchi, M. Tsuchiya and S. Nakagawa
    • 学会等名
      Proc. APSIPA-2014
    • 発表場所
      シェムリアップ(カンボジア)
    • 年月日
      2014-12-10
    • 関連する報告書
      2014 実績報告書
  • [学会発表] Overview of the NTCIR-11 SpokenQuery&Dok Task2014

    • 著者名/発表者名
      Tomoyoshi Akiba,Hiromitsu Nishizaki,Hiroaki Nanjo,Gareth Jones
    • 学会等名
      NTCIR
    • 発表場所
      東京
    • 年月日
      2014-12-10
    • 関連する報告書
      2014 実績報告書
  • [学会発表] Machine Translation for Intensification of the International Competitiveness2014

    • 著者名/発表者名
      Hitoshi Isahara
    • 学会等名
      CJNLP 2014
    • 発表場所
      成都(中国)
    • 年月日
      2014-10-13
    • 関連する報告書
      2014 実績報告書
  • [学会発表] English to Japanese Spoken Language Translation System for Classroom Lecture2014

    • 著者名/発表者名
      Veri Ferdiansyah, Seiichi Nakagawa
    • 学会等名
      Proc. ICACTA
    • 発表場所
      バンドン(インドネシア)
    • 年月日
      2014-08-20
    • 関連する報告書
      2014 実績報告書
  • [学会発表] Comparison of Syllalele-based and phoneme-based DNN-HMM in Japanese Speech Recognition2014

    • 著者名/発表者名
      Hiroshi Seki, Kazumasa Yamamoto, Seiichi Nakagawa
    • 学会等名
      Proc. ICAICTA
    • 発表場所
      バンドン(インドネシア)
    • 年月日
      2014-08-20
    • 関連する報告書
      2014 実績報告書
  • [学会発表] Natural Language Processing and Language Resources2014

    • 著者名/発表者名
      Hitoshi Isahara
    • 学会等名
      ICAICTA 2014
    • 発表場所
      バンドン(インドネシア)
    • 年月日
      2014-08-20
    • 関連する報告書
      2014 実績報告書
  • [学会発表] ISO Language Resource Management Technical Specification Proposal for Controlled Natural Language:Basic Concepts and General Principles2014

    • 著者名/発表者名
      Hitishi Isahara,KeySun Choi et al
    • 学会等名
      CNL2014
    • 発表場所
      ゴールウェイ(アイルランド)
    • 年月日
      2014-08-20
    • 関連する報告書
      2014 実績報告書
  • [学会発表] Pivot Translation using Source-side dictionary and Target-side Parallel Corpus towards MT from resource-limited languages2014

    • 著者名/発表者名
      Takahiro Nomura,Tomoyoshi Akiba
    • 学会等名
      ICAICTA 2014
    • 発表場所
      バンドン(インドネシア)
    • 年月日
      2014-08-20
    • 関連する報告書
      2014 実績報告書
  • [学会発表] Toward ISO Standard for Controlled Natural Language2014

    • 著者名/発表者名
      KeySun choi,Hitoshi Isahara
    • 学会等名
      LREC Workshop W2:Controlled Natural Language Simplifying Langage Use
    • 発表場所
      レイキャビク(アイスランド)
    • 年月日
      2014-05-27
    • 関連する報告書
      2014 実績報告書
  • [学会発表] New Translation Support Project by Toyohashi University of Technology2014

    • 著者名/発表者名
      Hitoshi Isahara
    • 学会等名
      TAUS Tokyo Executive Forum 2014
    • 発表場所
      東京
    • 年月日
      2014-04-11
    • 関連する報告書
      2014 実績報告書
  • [学会発表] 外国語(英語)講義映像に対する字幕提示の理解度効果

    • 著者名/発表者名
      フェルディアンシャー ヴェリ, 中川聖一
    • 学会等名
      情報処理学会, 音声言語情報処理研究会
    • 発表場所
      宮城県蔵王町
    • 関連する報告書
      2013 実績報告書
  • [学会発表] 留学生のための日本講義ビデオの字幕表示方法の比較

    • 著者名/発表者名
      土井佑也, フェルディアンシャーヴェリ, 中川 聖一
    • 学会等名
      日本音響学会秋季研究発表会
    • 発表場所
      豊橋技術科学大学、豊橋市
    • 関連する報告書
      2013 実績報告書
  • [学会発表] Automatic Speech Recognition and Machine Translation System for MIT English Lectures Using MIT and TED Corpus

    • 著者名/発表者名
      Veri Ferdiansyah, 中川聖一
    • 学会等名
      第8回音声ドキュメント処理ワークショップ
    • 発表場所
      豊橋市民センター、豊橋市
    • 関連する報告書
      2013 実績報告書
  • [学会発表] Toward Practical Use of Machine Translation

    • 著者名/発表者名
      Hitoshi Isahara
    • 学会等名
      TAUS Tokyo Executive Forum 2013
    • 発表場所
      Tokyo, Japan
    • 関連する報告書
      2013 実績報告書
  • [学会発表] Fusion of Multiple Semantic Networks and Human Association

    • 著者名/発表者名
      Hitoshi Isahara, Kyoko Kanzaki, Eiko Yamamoto, Takayuki Kuribayashi and Michinaga Otsuka
    • 学会等名
      Seventh Global Wordnet Conference
    • 発表場所
      Tartu, Estonia
    • 関連する報告書
      2013 実績報告書
  • [学会発表] 講義音声翻訳における話し言葉の整形と翻訳の同時最適化法の検討

    • 著者名/発表者名
      福島太喜, 秋葉友良
    • 学会等名
      日本音響学会春季研究発表会
    • 発表場所
      日本大学理工学部、東京都
    • 関連する報告書
      2013 実績報告書
  • [図書] 今後の超高齢化社会に求められる生活支援ロボット技術2015

    • 著者名/発表者名
      寺嶋一彦(監修)、中川聖一、他97名
    • 総ページ数
      622
    • 出版者
      情報機構
    • 関連する報告書
      2015 実績報告書
  • [図書] 我が国の国際競争力強化のための機械翻訳の実活用2014

    • 著者名/発表者名
      井佐原均
    • 総ページ数
      583
    • 出版者
      JAPIO YEARBOOK
    • 関連する報告書
      2014 実績報告書
  • [備考] 音声言語処理研究室

    • URL

      http://www.slp.cs.tut.ac.jp

    • 関連する報告書
      2013 実績報告書

URL: 

公開日: 2013-05-21   更新日: 2019-07-29  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi