2022 Fiscal Year Final Research Report
Automatic generation of lecture's materials with Japanese caption based on English lecture's speech translation and speech summarization
| Project/Area Number |
18H01062
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Single-year Grants |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 09070:Educational technology-related
|
|---|
| Research Institution | Chubu University |
|---|
Principal Investigator |
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
秋葉 友良 豊橋技術科学大学, 工学(系)研究科(研究院), 准教授 (00356346)
山本 一公 中部大学, 工学部, 教授 (40324230)
|
|---|
| Project Period (FY) |
2018-04-01 – 2022-03-31
|
| Keywords | 英日音声翻訳 / 英日機械翻訳 / 音声要約 / テキスト要約 / 英語音声の認識 / 英語講義 / 英語講演 / 字幕 |
|---|
| Outline of Final Research Achievements |
In this study, we developed fundamental technologies for English speech recognition, English-to-Japanese speech translation, and speech summarization of English lecture audio, and integrated them into a subtitling system for Japanese learners. The main target of this study for various lectures was TED Talks.
For speech recognition, we obtained a word recognition accuracy of approximately 88% for TED English talks. For speech translation, about 15 BLEU values were obtained for text input and about 14 BLEU values for speech input. The human evaluation showed that "the content is understandable at first, and the intent is conveyed. However, some mistranslations were found". As for audio summarization, the results showed that the summary from the audio input was not inferior to the summary from the text input in terms of the summary based on the important sentence selection.
|
| Free Research Field |
知能情報学
|
| Academic Significance and Societal Importance of the Research Achievements |
大学講義のオープンコースウエア等により、手軽に有用な講義・講演音声が学習に利用できるようになった。しかし、英語音声のコンテンツを日本人学生が理解するのは困難である。例えば、TOEIC700点程度の学生でも英語講義の正しい聞き取り率は、単語換算で50％程度である。
本研究は英語の講義・講演音声から重要文を抽出し、英語音声と同期して日本語で字幕として表示するシステムを開発した。テキスト入力による重要文抽出や日本語への翻訳精度と比べて、音声入力に対して重要文抽出の精度を維持したまま、翻訳精度の低下は10％程度に抑えることができた。英語音声コンテンツを学習に利用できることを示した社会的意義は大きい。
|
