2023 Fiscal Year Research-status Report
Automatic Multilingual Subtitling of Lecture Videos Towards University Globalization
| Project/Area Number |
20K03120
|
|---|
| Research Institution | Kyushu University |
|---|
Principal Investigator |
美馬 秀樹 九州大学, 未来人材育成機構, 特任教授 (30359658)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
増田 勝也 東京大学, 大学総合教育研究センター, 特任助教 (20512114) [Withdrawn]
小松 祐美 東京大学, 大学総合教育研究センター, 学術専門職員 (50792511) [Withdrawn]
|
|---|
| Project Period (FY) |
2020-04-01 – 2025-03-31
|
| Keywords | 自動字幕付与 / 音声認識 / 機械翻訳 / 音声翻訳 / オンライン講義 / 教育DX / 科目ナンバリング / 可視化 |
|---|
| Outline of Annual Research Achievements |
“いつでも，どこでも，だれにでも”同等の教育の機会を提供することは非常に重要である．国連サミットにて採択されたSDGsにおいても，「質の高い教育をみんなに」は，今後の持続可能な社会における重要な政策目標の一つとなっている．また，海外からの留学性や教員も利用することを考慮すると，字幕に対して翻訳を行うことも必要な要素である．講義映像が短時間で少量であれば人手で行うことも可能であるが，一般に高コストである。そこで映像音声に対して自動的に音声認識を行い，その結果を字幕として付与する研究開発が行われている．しかしながら，音声認識の精度は年々向上してはいるものの，そのまま字幕として使用するには未だ十分な精度とは言い難い．特に，本研究で対象とする高等教育での講義映像の音声には専門用語が多く含まれており，認識できない用語があるのに加え，字幕として利用するためには同音異義語も正しく漢字へと変換することが必要となるが、これには講義で話されているテキストを大量に収集し、言語モデルを再構成することが望ましい。令和5年度には、引き続きサイバー大学より講義ビデオのご提供をいただき、収集した約100時間分の講義ビデオに対し、情報通信研究機構（NICT）との共同により音声テキストデータの抽出を進めた。音声翻訳の精度向上のためのデータとして利用し、実際の講義ビデオに適用することで、リアルタイムの字幕付与に関して、実用に耐えうる品質となることを確認した。
一方で、講義に係るテキストを対象に、自然言語処理、及び機械学習による分析を行うことで、講義へのトピックの自動付与、講義の自動分類等が行えるプログラムを開発し、精度の検証を行っているところである。本プログラムにより、研究課題である、多言語に対する言語処理のみならず、科目ナンバリングの自動付与や、カリキュラムの自動構成のような高度なタスクへの応用も期待される。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
COVID-19の影響により、十分な時間が確保できず、当初、計画をしていた予定より若干、研究の進行が遅れる結果となった。
なお、本理由により、研究期間の再延長を申請し、受理されている状態である。
|
| Strategy for Future Research Activity |
今後は、これまでに作成した講義音声コーパスを利用し、音声モデル、言語モデルの再学習を行うことで、音声認識の精度を向上するとともに、音声字幕を付与した講義ビデオ再生が行えるシステムの開発や、機械翻訳を統合した自動翻訳字幕付与のシステムの構築と実験評価を行うことを目指す。
併せて、開発した言語処理プログラムを様々な教育関連テキストに適用することで、より高度な教育支援環境の実現を目指す。
|
| Causes of Carryover |
COVID-19の影響により、十分な時間が確保できず、当初の使用計画より若干、遅れが生じ、次年度使用額が生じる結果となった。尚、本理由により、研究期間の再延長を申請し、受理されている。
|
