2022 Fiscal Year Research-status Report
Automatic Multilingual Subtitling of Lecture Videos Towards University Globalization
| Project/Area Number |
20K03120
|
|---|
| Research Institution | Kyushu University |
|---|
Principal Investigator |
美馬 秀樹 九州大学, 未来人材育成機構, 特任教授 (30359658)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
増田 勝也 東京大学, 大学総合教育研究センター, 特任助教 (20512114) [Withdrawn]
小松 祐美 東京大学, 大学総合教育研究センター, 学術専門職員 (50792511) [Withdrawn]
|
|---|
| Project Period (FY) |
2020-04-01 – 2024-03-31
|
| Keywords | 音声認識 / 機械翻訳 / 音声翻訳 / 自動字幕付与 / オンライン講義 / トピック推定 / 文書分類 / 対訳コーパス |
|---|
| Outline of Annual Research Achievements |
“いつでも，どこでも，だれにでも”同等の教育の機会を提供することは非常に重要である．国連サミットにて採択されたSDGsにおいても，「質の高い教育をみんなに」は，今後の持続可能な社会における重要な政策目標の一つとなっている．また，海外からの留学性や教員も利用することを考慮すると，字幕に対して翻訳を行うことも必要な要素である．現に，私が以前，担当していたUTokyo OCWサイトに併設されているSNSには，国内外より，聴覚障害者からの字幕付与，言語習得も含めた学習教材化，等への要望も多く寄せられていた．しかしながら，講義映像が短時間で少量であれば人手で行うことも可能であるが，一般に高コストであり，本研究開発において期待されるような多数の講義映像に対して行うことは難しい．そこで映像音声に対して自動的に音声認識を行い，その結果を字幕として表示，あるいはその結果に対して人手により修正を行うことで字幕とする等の手法の研究開発が行われている．しかしながら，音声認識システムの認識精度は年々向上してはいるものの，そのまま字幕として使用するには未だ十分な精度とは言い難い．特に，本研究で対象とする高等教育での講義映像の音声には専門用語が多く含まれており，認識できない用語があるのに加え，字幕として利用するためには同音異義語も正しく漢字へと変換することが必要となる。この解決には、講義で話されているテキストを大量に収集し、分析を行い、言語モデルを再構成することが望ましい。
そこで、昨年度は、サイバー大学より講義ビデオの提供をいただく契約を行い、約100時間分の講義ビデオを収集することに成功した。
また、情報通信研究機構（NICT）との共同により、収集した講義ビデオからの音声テキストデータの抽出を進めており、適宜、音声翻訳の精度向上のためのデータとして利用する準備が整ったと言える。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
所属の移動、及びCOVID-19の影響により、十分な時間が確保できず、当初、計画をしていた予定より若干、研究の進行が遅れる結果となった。
なお、本理由により、研究期間の延長を申請し、受理されている状態である。
|
| Strategy for Future Research Activity |
今後は、昨年度までに収集した講義ビデオとその書き起こしデータ、及び作成したAI関連用語辞書を基に、音声翻訳処理の精度の向上を目指す予定である。
また、構築した字幕自動付与プログラムを評価し、ビデオに対する最適な字幕付与が行えるよう修正を進める。
加えて、学会等での発表を行うことで、得られた成果を広く公表する予定である。
|
| Causes of Carryover |
職場の異動、およびCOVID-19の影響により、当初の計画より研究の進捗に遅れが生じたため、研究機関の延長を申請し、受理されたため、次年度での使用額が生じた。
次年度では引き続き、関係する研究者などとの意見交換、情報収集、さらには学会での発表などを行うと共に、構築したプログラムの精度評価、およびシステム化を行う予定である。
|
Research Products
(2 results)
