• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

英語講義音声の音声翻訳と音声要約に基づく日本語字幕付き教材の自動生成に関する研究

研究課題

研究課題/領域番号 18H01062
研究種目

基盤研究(B)

配分区分補助金
応募区分一般
審査区分 小区分09070:教育工学関連
研究機関中部大学

研究代表者

中川 聖一  中部大学, 工学部, 客員教授 (20115893)

研究分担者 秋葉 友良  豊橋技術科学大学, 工学(系)研究科(研究院), 准教授 (00356346)
山本 一公  中部大学, 工学部, 教授 (40324230)
研究期間 (年度) 2018-04-01 – 2022-03-31
研究課題ステータス 完了 (2022年度)
配分額 *注記
17,420千円 (直接経費: 13,400千円、間接経費: 4,020千円)
2021年度: 3,770千円 (直接経費: 2,900千円、間接経費: 870千円)
2020年度: 3,510千円 (直接経費: 2,700千円、間接経費: 810千円)
2019年度: 3,640千円 (直接経費: 2,800千円、間接経費: 840千円)
2018年度: 6,500千円 (直接経費: 5,000千円、間接経費: 1,500千円)
キーワード英日音声翻訳 / 英日機械翻訳 / 音声要約 / テキスト要約 / 英語音声の認識 / 英語講義 / 英語講演 / 字幕 / 英語の音声認識 / 講義音声・講演音声 / TED Talks / 講義・講演の要約 / 音声翻訳 / 音声認識 / 英語講義・講演音声 / 字幕提示 / 英語講義音声 / 英語講演音声
研究成果の概要

本研究では、英語講義・講演音声の音声認識、英日音声翻訳、音声要約の要素技術を開発し、それらを統合した日本人の学習用の字幕表示システムを開発した。本研究の対象として、主にTED Talksとした。
音声認識に関しては、TED英語講演に対して、単語音声認識精度約88%が得られた。音声翻訳に関しては、テキスト入力に対して約15のBLEU値、音声入力に対して約14のBLEU値が得られた。人手による評価では、「まずまず内容が理解でき、意図が伝わる。一部に誤訳がある」という結果が得られた。音声要約に関しては、重要文抽出要約に対して、音声入力からの要約は、テキスト入力からの要約と遜色ない結果が得られた。

研究成果の学術的意義や社会的意義

大学講義のオープンコースウエア等により、手軽に有用な講義・講演音声が学習に利用できるようになった。しかし、英語音声のコンテンツを日本人学生が理解するのは困難である。例えば、TOEIC700点程度の学生でも英語講義の正しい聞き取り率は、単語換算で50%程度である。
本研究は英語の講義・講演音声から重要文を抽出し、英語音声と同期して日本語で字幕として表示するシステムを開発した。テキスト入力による重要文抽出や日本語への翻訳精度と比べて、音声入力に対して重要文抽出の精度を維持したまま、翻訳精度の低下は10%程度に抑えることができた。英語音声コンテンツを学習に利用できることを示した社会的意義は大きい。

報告書

(5件)
  • 2022 研究成果報告書 ( PDF )
  • 2021 実績報告書
  • 2020 実績報告書
  • 2019 実績報告書
  • 2018 実績報告書
  • 研究成果

    (40件)

すべて 2023 2022 2021 2020 2019 2018

すべて 雑誌論文 (3件) (うち査読あり 3件、 オープンアクセス 2件) 学会発表 (36件) (うち国際学会 5件) 図書 (1件)

  • [雑誌論文] ニューラル機械翻訳の反復的逆翻訳に基づくデータ拡張のための混成サンプリング手法2023

    • 著者名/発表者名
      森田智熙、秋葉友良、塚田元
    • 雑誌名

      電子情報通信学会論文誌D 情報・システム

      巻: J106-D 号: 4 ページ: 298-306

    • DOI

      10.14923/transinfj.2022PDP0005

    • ISSN
      1880-4535, 1881-0225
    • 年月日
      2023-04-01
    • 関連する報告書
      2021 実績報告書
    • 査読あり
  • [雑誌論文] Discriminative Learning of Filterbank Layer within Deep Neural Network Based Speech Recognition for Speaker Adaptation2019

    • 著者名/発表者名
      SEKI Hiroshi、YAMAMOTO Kazumasa、AKIBA Tomoyosi、NAKAGAWA Seiichi
    • 雑誌名

      IEICE Transactions on Information and Systems

      巻: E102.D 号: 2 ページ: 364-374

    • DOI

      10.1587/transinf.2018EDP7252

    • NAID

      130007588873

    • ISSN
      0916-8532, 1745-1361
    • 年月日
      2019-02-01
    • 関連する報告書
      2018 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] 最近の音声言語処理研究の動向 - 筆者の音声認識、音声翻訳、話者認識の研究を中心として -2019

    • 著者名/発表者名
      中川聖一
    • 雑誌名

      中部大学工学部紀要

      巻: 54 ページ: 7-20

    • NAID

      120007116371

    • 関連する報告書
      2018 実績報告書
    • 査読あり / オープンアクセス
  • [学会発表] TED講演の英日翻訳と日英翻訳の検討2023

    • 著者名/発表者名
      足立十一郎、山本一公、中川聖一
    • 学会等名
      言語処理学会、第29回年次大会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] TED英語講演の音声認識・音声翻訳・音声要約の検討2023

    • 著者名/発表者名
      坂野晴彦、桜井陽生、足立十一郎、山本一公、中川聖一
    • 学会等名
      言語処理学会、第29回年次大会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] ニューラル機械翻訳におけるIterative back-translationを利用したコンパラブルコーパスの活用2023

    • 著者名/発表者名
      山本優紀、秋葉友良、塚田元
    • 学会等名
      言語処理学会、第29回年次大会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 双方向翻訳モデルの相互学習による対訳語彙の教師なし獲得過程の調査2023

    • 著者名/発表者名
      谷川琢磨、秋葉友良、塚田元
    • 学会等名
      言語処理学会、第29回年次大会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 中間言語を介した2つの対訳コーパスを用いた対訳文のない言語対のNMTの検討2023

    • 著者名/発表者名
      B. T. Thanh、秋葉友良、塚田元
    • 学会等名
      言語処理学会、第29回年次大会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 答弁の種類に着目した抽象型要約に基づく議会会議録質問応答2023

    • 著者名/発表者名
      河合輝也、秋葉友良
    • 学会等名
      言語処理学会、第29回年次大会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] Summarization of spoken lectures based on MMR method and important/unimportant sentence using BERT2022

    • 著者名/発表者名
      K. Masuda, Y. Hayakawa, K. Yamamoto, S. Nakagawa
    • 学会等名
      Proc. Global Conference on Consumer Electronics
    • 関連する報告書
      2021 実績報告書
    • 国際学会
  • [学会発表] Semi-supervised ASR based on iterative joint training with discrete speech synthesis2022

    • 著者名/発表者名
      K. Takagi, T. Akiba, H. Tsukada
    • 学会等名
      Proc. APSIPA
    • 関連する報告書
      2021 実績報告書
    • 国際学会
  • [学会発表] 双方向翻訳モデルと反復的逆翻訳を用いた低資源言語に対するニューラル機械翻訳の性能向上2022

    • 著者名/発表者名
      B. T. Thanh, 秋葉友良、塚田元
    • 学会等名
      言語処理学会、第28回年次大会
    • 関連する報告書
      2020 実績報告書
  • [学会発表] 入力側単言語資源と転移学習の利用による講演字幕を対象とした英日ニューラル機械翻訳の改善2022

    • 著者名/発表者名
      山岸勇輝、秋葉友良、塚田元
    • 学会等名
      言語処理学会、第28回年次大会
    • 関連する報告書
      2020 実績報告書
  • [学会発表] 翻訳の品質評価に基づく動的な混成サンプリングによるNMTの双方向反復逆翻訳手法の改善2022

    • 著者名/発表者名
      森田知てる、秋葉友良、塚田元
    • 学会等名
      言語処理学会、第28回年次大会
    • 関連する報告書
      2020 実績報告書
  • [学会発表] ニューラル機械翻訳のための日本語膠着語的性質を考慮したマルチタスク学習2022

    • 著者名/発表者名
      西田悠斗、秋葉友良、塚田元
    • 学会等名
      言語処理学会、第28回年次大会
    • 関連する報告書
      2020 実績報告書
  • [学会発表] ラウンドトリップ翻訳を用いたニューラル機械翻訳のデータ拡張2022

    • 著者名/発表者名
      紺谷優志、秋葉友良、塚田元
    • 学会等名
      言語処理学会、第28回年次大会
    • 関連する報告書
      2020 実績報告書
  • [学会発表] Iterative Back Translationは対訳語彙を獲得できるか?2022

    • 著者名/発表者名
      谷川琢磨、秋葉友良、塚田元
    • 学会等名
      言語処理学会、第28回年次大会
    • 関連する報告書
      2020 実績報告書
  • [学会発表] Iterative Back Translationと離散音声表現を用いた音声認識のためのデータ拡張2022

    • 著者名/発表者名
      高木景矢、秋葉友良、塚田元
    • 学会等名
      日本音響学会春季研究発表会
    • 関連する報告書
      2020 実績報告書
  • [学会発表] Improvement of elderly speech recognition using Gammatone filterbank adaptation2021

    • 著者名/発表者名
      K. Yamamoto, A. Ishiki, S. Nakagawa
    • 学会等名
      Global Conference on Consumer Electronics
    • 関連する報告書
      2020 実績報告書
    • 国際学会
  • [学会発表] Development of political QA systems targeted as assembly minutes based abstractive summarization2021

    • 著者名/発表者名
      T. Kawai, T. Akiba, S. Masuyama
    • 学会等名
      Internatinal Conference on Advanced Informatics: Concepts, Theory and Applications
    • 関連する報告書
      2020 実績報告書
    • 国際学会
  • [学会発表] Fine-Tuningと混成的な逆翻訳サンプリングに基づくNMTの双方向反復的教師なし適応の改善2021

    • 著者名/発表者名
      森田知、秋葉友良、塚田元
    • 学会等名
      言語処理学会、第27回年次大会
    • 関連する報告書
      2019 実績報告書
  • [学会発表] NMTの双方向反復的教師なし適応手法における初期対訳コーパスサイズの影響と翻訳モデル獲得に関する調査2021

    • 著者名/発表者名
      藤澤謙太、秋葉友良、塚田元
    • 学会等名
      言語処理学会、第27回年次大会
    • 関連する報告書
      2019 実績報告書
  • [学会発表] End-to-End音声翻訳のためのデータ拡張の検討2021

    • 著者名/発表者名
      高木景矢、秋葉友良、塚田元
    • 学会等名
      言語処理学会、第27回年次大会
    • 関連する報告書
      2019 実績報告書
  • [学会発表] ボトルネック特徴量の合成に基づく音声認識のためのデータ拡張の検討2020

    • 著者名/発表者名
      高木景矢、秋葉友良、塚田元
    • 学会等名
      日本音響学会、春季研究発表会
    • 関連する報告書
      2019 実績報告書
  • [学会発表] End-to-Endとカスケード方式のアンサンブルによる音声翻訳の検討2020

    • 著者名/発表者名
      民谷慎一郎、秋葉友良、塚田元
    • 学会等名
      日本音響学会、春季研究発表会
    • 関連する報告書
      2019 実績報告書
  • [学会発表] 文の分散表現を利用したMMR法に基づく講義・講演ドキュメントの要約2020

    • 著者名/発表者名
      早川由倭、山本一公、中川聖一
    • 学会等名
      言語処理学会、第26回年次大会
    • 関連する報告書
      2019 実績報告書
  • [学会発表] 汎用分散表現BERTを用いたニューラル機械翻訳の検討2020

    • 著者名/発表者名
      高橋竜、秋葉友良、塚田元
    • 学会等名
      言語処理学会、第26回年次大会
    • 関連する報告書
      2019 実績報告書
  • [学会発表] ニューラル機械翻訳における双方向反復的教師なし適応の改善2020

    • 著者名/発表者名
      藤澤謙太、秋葉友良、塚田元
    • 学会等名
      言語処理学会、第26回年次大会
    • 関連する報告書
      2019 実績報告書
  • [学会発表] 逆翻訳を用いたデータ拡張と転移学習を利用した英日講演字幕翻訳の改善2020

    • 著者名/発表者名
      山岸勇輝、秋葉友良、塚田元
    • 学会等名
      言語処理学会、第26回年次大会
    • 関連する報告書
      2019 実績報告書
  • [学会発表] English-Japanese Machine Translation for Lecture Subtitles Using Back-Translation and Transfer Learning2020

    • 著者名/発表者名
      Yuuki Yamagishi, Tomoyosi Akiba, Hajime Tsukada
    • 学会等名
      Proc. IEEE 9-th Global Conf. on Consumer Electronics
    • 関連する報告書
      2019 実績報告書
  • [学会発表] 複数の音声認識結果を用いた系列変換モデルによる音声翻訳システムの検討2019

    • 著者名/発表者名
      民谷慎一郎、秋葉友良、塚田元
    • 学会等名
      日本音響学会、秋季研究発表会
    • 関連する報告書
      2019 実績報告書
  • [学会発表] 局所的トピック情報を利用した論文抄録(ASPEC)の英日機械翻訳2019

    • 著者名/発表者名
      渡邊拓斗、高田凌平、佐橋広也、山本一公、秋葉友良、中川聖一
    • 学会等名
      言語処理学会、第25回年次大会
    • 関連する報告書
      2018 実績報告書
  • [学会発表] 科学技術論文抄録と講義音声の英日機械翻訳のリスコアリングの検討2019

    • 著者名/発表者名
      佐橋広也、秋葉友良、中川聖一
    • 学会等名
      言語処理学会、第25回年次大会
    • 関連する報告書
      2018 実績報告書
  • [学会発表] ニューラル機械翻訳におけるトピック情報の利用2019

    • 著者名/発表者名
      高田凌平、秋葉友良、塚田元
    • 学会等名
      言語処理学会、第25回年次大会
    • 関連する報告書
      2018 実績報告書
  • [学会発表] フィルタバンクと活性化関数の出力値の話者適応に基づくDNN-HMMによる音声認識2019

    • 著者名/発表者名
      中島貫太、関博史、山本一公、中川聖一
    • 学会等名
      電子情報通信学会、総合大会
    • 関連する報告書
      2018 実績報告書
  • [学会発表] Encoder-decoderネットワークの枠組みにおけるフィルタバンク層の雑音適応の検討2019

    • 著者名/発表者名
      関博史、山本一公、秋葉友良、中川聖一
    • 学会等名
      日本音響学会、春季研究発表会
    • 関連する報告書
      2018 実績報告書
  • [学会発表] Rapid speaker adaptation of neural network based filterbank layer for automatic speech recognition2018

    • 著者名/発表者名
      Hiroshi Seki, Kazumasa Yamamoto, Tomoyosi Akiba, Seiichi Nakagawa
    • 学会等名
      IEEE on Spoken Language Technology Workshop
    • 関連する報告書
      2018 実績報告書
    • 国際学会
  • [学会発表] 統計的機械翻訳とニューラル翻訳による翻訳候補の文の分散表現に基づくリスコアリングの検討2018

    • 著者名/発表者名
      佐橋広也、西村友樹、秋葉友良、中川聖一
    • 学会等名
      情報処理学会、音声言語情報処理研究会
    • 関連する報告書
      2018 実績報告書
  • [学会発表] 双方向の逆翻訳を利用したニューラル機械翻訳の教師なし適応の検討2018

    • 著者名/発表者名
      森田知煕、秋葉友良、塚田元
    • 学会等名
      情報処理学会、第5回自然言語処理シンポジュウム
    • 関連する報告書
      2018 実績報告書
  • [図書] 音声言語処理と自然言語処理(増補)2018

    • 著者名/発表者名
      中川聖一(編著)、小林聡、峯松信明、宇津呂武仁、秋葉友良、北岡教英、山本幹雄、甲斐充彦、山本一公、土屋雅稔(共著)
    • 総ページ数
      288
    • 出版者
      コロナ社
    • ISBN
      9784339028881
    • 関連する報告書
      2018 実績報告書

URL: 

公開日: 2018-04-23   更新日: 2024-01-30  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi