• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Automatic generation of lecture's materials with Japanese caption based on English lecture's speech translation and speech summarization

Research Project

Project/Area Number 18H01062
Research Category

Grant-in-Aid for Scientific Research (B)

Allocation TypeSingle-year Grants
Section一般
Review Section Basic Section 09070:Educational technology-related
Research InstitutionChubu University

Principal Investigator

Nakagawa Seiichi  中部大学, 工学部, 客員教授 (20115893)

Co-Investigator(Kenkyū-buntansha) 秋葉 友良  豊橋技術科学大学, 工学(系)研究科(研究院), 准教授 (00356346)
山本 一公  中部大学, 工学部, 教授 (40324230)
Project Period (FY) 2018-04-01 – 2022-03-31
Project Status Completed (Fiscal Year 2022)
Budget Amount *help
¥17,420,000 (Direct Cost: ¥13,400,000、Indirect Cost: ¥4,020,000)
Fiscal Year 2021: ¥3,770,000 (Direct Cost: ¥2,900,000、Indirect Cost: ¥870,000)
Fiscal Year 2020: ¥3,510,000 (Direct Cost: ¥2,700,000、Indirect Cost: ¥810,000)
Fiscal Year 2019: ¥3,640,000 (Direct Cost: ¥2,800,000、Indirect Cost: ¥840,000)
Fiscal Year 2018: ¥6,500,000 (Direct Cost: ¥5,000,000、Indirect Cost: ¥1,500,000)
Keywords英日音声翻訳 / 英日機械翻訳 / 音声要約 / テキスト要約 / 英語音声の認識 / 英語講義 / 英語講演 / 字幕 / 英語の音声認識 / 講義音声・講演音声 / TED Talks / 講義・講演の要約 / 音声翻訳 / 音声認識 / 英語講義・講演音声 / 字幕提示 / 英語講義音声 / 英語講演音声
Outline of Final Research Achievements

In this study, we developed fundamental technologies for English speech recognition, English-to-Japanese speech translation, and speech summarization of English lecture audio, and integrated them into a subtitling system for Japanese learners. The main target of this study for various lectures was TED Talks.
For speech recognition, we obtained a word recognition accuracy of approximately 88% for TED English talks. For speech translation, about 15 BLEU values were obtained for text input and about 14 BLEU values for speech input. The human evaluation showed that "the content is understandable at first, and the intent is conveyed. However, some mistranslations were found". As for audio summarization, the results showed that the summary from the audio input was not inferior to the summary from the text input in terms of the summary based on the important sentence selection.

Academic Significance and Societal Importance of the Research Achievements

大学講義のオープンコースウエア等により、手軽に有用な講義・講演音声が学習に利用できるようになった。しかし、英語音声のコンテンツを日本人学生が理解するのは困難である。例えば、TOEIC700点程度の学生でも英語講義の正しい聞き取り率は、単語換算で50%程度である。
本研究は英語の講義・講演音声から重要文を抽出し、英語音声と同期して日本語で字幕として表示するシステムを開発した。テキスト入力による重要文抽出や日本語への翻訳精度と比べて、音声入力に対して重要文抽出の精度を維持したまま、翻訳精度の低下は10%程度に抑えることができた。英語音声コンテンツを学習に利用できることを示した社会的意義は大きい。

Report

(5 results)
  • 2022 Final Research Report ( PDF )
  • 2021 Annual Research Report
  • 2020 Annual Research Report
  • 2019 Annual Research Report
  • 2018 Annual Research Report
  • Research Products

    (40 results)

All 2023 2022 2021 2020 2019 2018

All Journal Article (3 results) (of which Peer Reviewed: 3 results,  Open Access: 2 results) Presentation (36 results) (of which Int'l Joint Research: 5 results) Book (1 results)

  • [Journal Article] Hybrid Sampling for Iterative Back-Translation of Neural Machine Translation2023

    • Author(s)
      森田智熙、秋葉友良、塚田元
    • Journal Title

      電子情報通信学会論文誌D 情報・システム

      Volume: J106-D Issue: 4 Pages: 298-306

    • DOI

      10.14923/transinfj.2022PDP0005

    • ISSN
      1880-4535, 1881-0225
    • Year and Date
      2023-04-01
    • Related Report
      2021 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Discriminative Learning of Filterbank Layer within Deep Neural Network Based Speech Recognition for Speaker Adaptation2019

    • Author(s)
      SEKI Hiroshi、YAMAMOTO Kazumasa、AKIBA Tomoyosi、NAKAGAWA Seiichi
    • Journal Title

      IEICE Transactions on Information and Systems

      Volume: E102.D Issue: 2 Pages: 364-374

    • DOI

      10.1587/transinf.2018EDP7252

    • NAID

      130007588873

    • ISSN
      0916-8532, 1745-1361
    • Year and Date
      2019-02-01
    • Related Report
      2018 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] 最近の音声言語処理研究の動向 - 筆者の音声認識、音声翻訳、話者認識の研究を中心として -2019

    • Author(s)
      中川聖一
    • Journal Title

      中部大学工学部紀要

      Volume: 54 Pages: 7-20

    • NAID

      120007116371

    • Related Report
      2018 Annual Research Report
    • Peer Reviewed / Open Access
  • [Presentation] TED講演の英日翻訳と日英翻訳の検討2023

    • Author(s)
      足立十一郎、山本一公、中川聖一
    • Organizer
      言語処理学会、第29回年次大会
    • Related Report
      2021 Annual Research Report
  • [Presentation] TED英語講演の音声認識・音声翻訳・音声要約の検討2023

    • Author(s)
      坂野晴彦、桜井陽生、足立十一郎、山本一公、中川聖一
    • Organizer
      言語処理学会、第29回年次大会
    • Related Report
      2021 Annual Research Report
  • [Presentation] ニューラル機械翻訳におけるIterative back-translationを利用したコンパラブルコーパスの活用2023

    • Author(s)
      山本優紀、秋葉友良、塚田元
    • Organizer
      言語処理学会、第29回年次大会
    • Related Report
      2021 Annual Research Report
  • [Presentation] 双方向翻訳モデルの相互学習による対訳語彙の教師なし獲得過程の調査2023

    • Author(s)
      谷川琢磨、秋葉友良、塚田元
    • Organizer
      言語処理学会、第29回年次大会
    • Related Report
      2021 Annual Research Report
  • [Presentation] 中間言語を介した2つの対訳コーパスを用いた対訳文のない言語対のNMTの検討2023

    • Author(s)
      B. T. Thanh、秋葉友良、塚田元
    • Organizer
      言語処理学会、第29回年次大会
    • Related Report
      2021 Annual Research Report
  • [Presentation] 答弁の種類に着目した抽象型要約に基づく議会会議録質問応答2023

    • Author(s)
      河合輝也、秋葉友良
    • Organizer
      言語処理学会、第29回年次大会
    • Related Report
      2021 Annual Research Report
  • [Presentation] Summarization of spoken lectures based on MMR method and important/unimportant sentence using BERT2022

    • Author(s)
      K. Masuda, Y. Hayakawa, K. Yamamoto, S. Nakagawa
    • Organizer
      Proc. Global Conference on Consumer Electronics
    • Related Report
      2021 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Semi-supervised ASR based on iterative joint training with discrete speech synthesis2022

    • Author(s)
      K. Takagi, T. Akiba, H. Tsukada
    • Organizer
      Proc. APSIPA
    • Related Report
      2021 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 双方向翻訳モデルと反復的逆翻訳を用いた低資源言語に対するニューラル機械翻訳の性能向上2022

    • Author(s)
      B. T. Thanh, 秋葉友良、塚田元
    • Organizer
      言語処理学会、第28回年次大会
    • Related Report
      2020 Annual Research Report
  • [Presentation] 入力側単言語資源と転移学習の利用による講演字幕を対象とした英日ニューラル機械翻訳の改善2022

    • Author(s)
      山岸勇輝、秋葉友良、塚田元
    • Organizer
      言語処理学会、第28回年次大会
    • Related Report
      2020 Annual Research Report
  • [Presentation] 翻訳の品質評価に基づく動的な混成サンプリングによるNMTの双方向反復逆翻訳手法の改善2022

    • Author(s)
      森田知てる、秋葉友良、塚田元
    • Organizer
      言語処理学会、第28回年次大会
    • Related Report
      2020 Annual Research Report
  • [Presentation] ニューラル機械翻訳のための日本語膠着語的性質を考慮したマルチタスク学習2022

    • Author(s)
      西田悠斗、秋葉友良、塚田元
    • Organizer
      言語処理学会、第28回年次大会
    • Related Report
      2020 Annual Research Report
  • [Presentation] ラウンドトリップ翻訳を用いたニューラル機械翻訳のデータ拡張2022

    • Author(s)
      紺谷優志、秋葉友良、塚田元
    • Organizer
      言語処理学会、第28回年次大会
    • Related Report
      2020 Annual Research Report
  • [Presentation] Iterative Back Translationは対訳語彙を獲得できるか?2022

    • Author(s)
      谷川琢磨、秋葉友良、塚田元
    • Organizer
      言語処理学会、第28回年次大会
    • Related Report
      2020 Annual Research Report
  • [Presentation] Iterative Back Translationと離散音声表現を用いた音声認識のためのデータ拡張2022

    • Author(s)
      高木景矢、秋葉友良、塚田元
    • Organizer
      日本音響学会春季研究発表会
    • Related Report
      2020 Annual Research Report
  • [Presentation] Improvement of elderly speech recognition using Gammatone filterbank adaptation2021

    • Author(s)
      K. Yamamoto, A. Ishiki, S. Nakagawa
    • Organizer
      Global Conference on Consumer Electronics
    • Related Report
      2020 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Development of political QA systems targeted as assembly minutes based abstractive summarization2021

    • Author(s)
      T. Kawai, T. Akiba, S. Masuyama
    • Organizer
      Internatinal Conference on Advanced Informatics: Concepts, Theory and Applications
    • Related Report
      2020 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Fine-Tuningと混成的な逆翻訳サンプリングに基づくNMTの双方向反復的教師なし適応の改善2021

    • Author(s)
      森田知、秋葉友良、塚田元
    • Organizer
      言語処理学会、第27回年次大会
    • Related Report
      2019 Annual Research Report
  • [Presentation] NMTの双方向反復的教師なし適応手法における初期対訳コーパスサイズの影響と翻訳モデル獲得に関する調査2021

    • Author(s)
      藤澤謙太、秋葉友良、塚田元
    • Organizer
      言語処理学会、第27回年次大会
    • Related Report
      2019 Annual Research Report
  • [Presentation] End-to-End音声翻訳のためのデータ拡張の検討2021

    • Author(s)
      高木景矢、秋葉友良、塚田元
    • Organizer
      言語処理学会、第27回年次大会
    • Related Report
      2019 Annual Research Report
  • [Presentation] ボトルネック特徴量の合成に基づく音声認識のためのデータ拡張の検討2020

    • Author(s)
      高木景矢、秋葉友良、塚田元
    • Organizer
      日本音響学会、春季研究発表会
    • Related Report
      2019 Annual Research Report
  • [Presentation] End-to-Endとカスケード方式のアンサンブルによる音声翻訳の検討2020

    • Author(s)
      民谷慎一郎、秋葉友良、塚田元
    • Organizer
      日本音響学会、春季研究発表会
    • Related Report
      2019 Annual Research Report
  • [Presentation] 文の分散表現を利用したMMR法に基づく講義・講演ドキュメントの要約2020

    • Author(s)
      早川由倭、山本一公、中川聖一
    • Organizer
      言語処理学会、第26回年次大会
    • Related Report
      2019 Annual Research Report
  • [Presentation] 汎用分散表現BERTを用いたニューラル機械翻訳の検討2020

    • Author(s)
      高橋竜、秋葉友良、塚田元
    • Organizer
      言語処理学会、第26回年次大会
    • Related Report
      2019 Annual Research Report
  • [Presentation] ニューラル機械翻訳における双方向反復的教師なし適応の改善2020

    • Author(s)
      藤澤謙太、秋葉友良、塚田元
    • Organizer
      言語処理学会、第26回年次大会
    • Related Report
      2019 Annual Research Report
  • [Presentation] 逆翻訳を用いたデータ拡張と転移学習を利用した英日講演字幕翻訳の改善2020

    • Author(s)
      山岸勇輝、秋葉友良、塚田元
    • Organizer
      言語処理学会、第26回年次大会
    • Related Report
      2019 Annual Research Report
  • [Presentation] English-Japanese Machine Translation for Lecture Subtitles Using Back-Translation and Transfer Learning2020

    • Author(s)
      Yuuki Yamagishi, Tomoyosi Akiba, Hajime Tsukada
    • Organizer
      Proc. IEEE 9-th Global Conf. on Consumer Electronics
    • Related Report
      2019 Annual Research Report
  • [Presentation] 複数の音声認識結果を用いた系列変換モデルによる音声翻訳システムの検討2019

    • Author(s)
      民谷慎一郎、秋葉友良、塚田元
    • Organizer
      日本音響学会、秋季研究発表会
    • Related Report
      2019 Annual Research Report
  • [Presentation] 局所的トピック情報を利用した論文抄録(ASPEC)の英日機械翻訳2019

    • Author(s)
      渡邊拓斗、高田凌平、佐橋広也、山本一公、秋葉友良、中川聖一
    • Organizer
      言語処理学会、第25回年次大会
    • Related Report
      2018 Annual Research Report
  • [Presentation] 科学技術論文抄録と講義音声の英日機械翻訳のリスコアリングの検討2019

    • Author(s)
      佐橋広也、秋葉友良、中川聖一
    • Organizer
      言語処理学会、第25回年次大会
    • Related Report
      2018 Annual Research Report
  • [Presentation] ニューラル機械翻訳におけるトピック情報の利用2019

    • Author(s)
      高田凌平、秋葉友良、塚田元
    • Organizer
      言語処理学会、第25回年次大会
    • Related Report
      2018 Annual Research Report
  • [Presentation] フィルタバンクと活性化関数の出力値の話者適応に基づくDNN-HMMによる音声認識2019

    • Author(s)
      中島貫太、関博史、山本一公、中川聖一
    • Organizer
      電子情報通信学会、総合大会
    • Related Report
      2018 Annual Research Report
  • [Presentation] Encoder-decoderネットワークの枠組みにおけるフィルタバンク層の雑音適応の検討2019

    • Author(s)
      関博史、山本一公、秋葉友良、中川聖一
    • Organizer
      日本音響学会、春季研究発表会
    • Related Report
      2018 Annual Research Report
  • [Presentation] Rapid speaker adaptation of neural network based filterbank layer for automatic speech recognition2018

    • Author(s)
      Hiroshi Seki, Kazumasa Yamamoto, Tomoyosi Akiba, Seiichi Nakagawa
    • Organizer
      IEEE on Spoken Language Technology Workshop
    • Related Report
      2018 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 統計的機械翻訳とニューラル翻訳による翻訳候補の文の分散表現に基づくリスコアリングの検討2018

    • Author(s)
      佐橋広也、西村友樹、秋葉友良、中川聖一
    • Organizer
      情報処理学会、音声言語情報処理研究会
    • Related Report
      2018 Annual Research Report
  • [Presentation] 双方向の逆翻訳を利用したニューラル機械翻訳の教師なし適応の検討2018

    • Author(s)
      森田知煕、秋葉友良、塚田元
    • Organizer
      情報処理学会、第5回自然言語処理シンポジュウム
    • Related Report
      2018 Annual Research Report
  • [Book] 音声言語処理と自然言語処理(増補)2018

    • Author(s)
      中川聖一(編著)、小林聡、峯松信明、宇津呂武仁、秋葉友良、北岡教英、山本幹雄、甲斐充彦、山本一公、土屋雅稔(共著)
    • Total Pages
      288
    • Publisher
      コロナ社
    • ISBN
      9784339028881
    • Related Report
      2018 Annual Research Report

URL: 

Published: 2018-04-23   Modified: 2024-01-30  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi