Automatic Multilingual Subtitling of Lecture Videos Towards University Globalization
| Project/Area Number |
20K03120
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 09070:Educational technology-related
|
|---|
| Research Institution | Kyushu University (2022)
Kyoto University (2021)
The University of Tokyo (2020) |
|---|
Principal Investigator |
美馬 秀樹 九州大学, 未来人材育成機構, 特任教授 (30359658)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
増田 勝也 東京大学, 大学総合教育研究センター, 特任助教 (20512114)
小松 祐美 東京大学, 大学総合教育研究センター, 学術専門職員 (50792511)
|
|---|
| Project Period (FY) |
2020-04-01 – 2024-03-31
|
| Project Status |
Granted (Fiscal Year 2022)
|
| Budget Amount *help |
¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000)
Fiscal Year 2022: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2021: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
Fiscal Year 2020: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
|
|---|
| Keywords | 音声認識 / 機械翻訳 / 音声翻訳 / 自動字幕付与 / オンライン講義 / トピック推定 / 文書分類 / 対訳コーパス / 講義ビデオコーパス / 書き起こし / アノテーション / 多言語字幕付与 / カット自動編集 / トピック分割 / 多言語字幕付与システム / 精度向上 / 実現可能性 / 多言語音声翻訳 / 字幕付与 / 講義ビデオ |
|---|
| Outline of Research at the Start |
教育のグローバル化という観点から時間・場所・個人を問わず“いつでも、どこでも、だれにでも”同等の教育の機会を提供することは非常に重要である。これには単純に普段の講義映像を撮影して公開するのではなく、映像に対して文字情報の付与や適切な編集、内容の提示など、付加的情報を併せて公開することが重要である。本研究では、まず講義映像を対象とした音声認識・自動翻訳システムの研究開発を行い高精度な多言語字幕を作成可能なシステムを開発する。また音声認識結果を利用したトピックの抽出を行いトピックによる映像のチャプター分割や検索を可能とすることで、近年、注目されているマイクロコンテンツと同様のアクセス性を持たせる。
|
| Outline of Annual Research Achievements |
“いつでも，どこでも，だれにでも”同等の教育の機会を提供することは非常に重要である．国連サミットにて採択されたSDGsにおいても，「質の高い教育をみんなに」は，今後の持続可能な社会における重要な政策目標の一つとなっている．また，海外からの留学性や教員も利用することを考慮すると，字幕に対して翻訳を行うことも必要な要素である．現に，私が以前，担当していたUTokyo OCWサイトに併設されているSNSには，国内外より，聴覚障害者からの字幕付与，言語習得も含めた学習教材化，等への要望も多く寄せられていた．しかしながら，講義映像が短時間で少量であれば人手で行うことも可能であるが，一般に高コストであり，本研究開発において期待されるような多数の講義映像に対して行うことは難しい．そこで映像音声に対して自動的に音声認識を行い，その結果を字幕として表示，あるいはその結果に対して人手により修正を行うことで字幕とする等の手法の研究開発が行われている．しかしながら，音声認識システムの認識精度は年々向上してはいるものの，そのまま字幕として使用するには未だ十分な精度とは言い難い．特に，本研究で対象とする高等教育での講義映像の音声には専門用語が多く含まれており，認識できない用語があるのに加え，字幕として利用するためには同音異義語も正しく漢字へと変換することが必要となる。この解決には、講義で話されているテキストを大量に収集し、分析を行い、言語モデルを再構成することが望ましい。
そこで、昨年度は、サイバー大学より講義ビデオの提供をいただく契約を行い、約100時間分の講義ビデオを収集することに成功した。
また、情報通信研究機構（NICT）との共同により、収集した講義ビデオからの音声テキストデータの抽出を進めており、適宜、音声翻訳の精度向上のためのデータとして利用する準備が整ったと言える。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
所属の移動、及びCOVID-19の影響により、十分な時間が確保できず、当初、計画をしていた予定より若干、研究の進行が遅れる結果となった。
なお、本理由により、研究期間の延長を申請し、受理されている状態である。
|
| Strategy for Future Research Activity |
今後は、昨年度までに収集した講義ビデオとその書き起こしデータ、及び作成したAI関連用語辞書を基に、音声翻訳処理の精度の向上を目指す予定である。
また、構築した字幕自動付与プログラムを評価し、ビデオに対する最適な字幕付与が行えるよう修正を進める。
加えて、学会等での発表を行うことで、得られた成果を広く公表する予定である。
|
Report
(3 results)
Research Products
(11 results)
