2021 Fiscal Year Research-status Report
Automatic Multilingual Subtitling of Lecture Videos Towards University Globalization
| Project/Area Number |
20K03120
|
|---|
| Research Institution | Kyoto University |
|---|
Principal Investigator |
美馬 秀樹 京都大学, 学術情報メディアセンター, 特定教授 (30359658)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
増田 勝也 東京大学, 大学総合教育研究センター, 特任助教 (20512114) [Withdrawn]
小松 祐美 東京大学, 大学総合教育研究センター, 特任研究員 (50792511) [Withdrawn]
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | 講義ビデオコーパス / 書き起こし / アノテーション / 多言語字幕付与 / 音声認識 / 音声翻訳 / カット自動編集 / トピック分割 |
|---|
| Outline of Annual Research Achievements |
本年度はさらに１５本の講義ビデオに対し、講義内容の書き起こしを含むアノテーションコーパス、およびAI関連専門用語の辞書（読みデータ付き）の開発を行った。本コーパスを活用することで、講義の音声認識の高精度化、認識された文の文法誤りの自動訂正等が可能となる。実際に本コーパスにより再学習を行った音声認識エンジンでは、従来のものと比較し音声認識精度（単語認識率）が約30％向上することを確認している。また、これらの技術を組み込んだオンライン多方向講義ビデオ配信プラットフォームの開発を進め、講義資料、講義ビデオ等のデータベース登録システム、及び配信システムの実装が終了した。
加えて、講義音声認識、及び多言語翻訳と、独自に開発したビデオ字幕自動付与システムの統合を行った。これにより、母国語が日本語以外の学習者や、健常者ではない学習者まで含め、「いつでも、どこでも、だれにでも、何度でも」学習を行える環境が整備できた。
他方、DNN(BERT）、および各種日英マニュアルテキストを使ったトピック分割の予備実験を行い、概ね９０％程度の精度（Accuracy)でテキストをトピックにより自動分割が可能となることを確認した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初の計画通り、機械学習に必要となるアノテーション付きコーパスデータを大量に作成し、実験によりその有用性を確認している。また、講義ビデオの配信プラットフォーム、および講義ビデオへの多言語字幕の自動付与システムを構築し、統合することで、実際に多言語字幕が付与された講義ビデオをインターネットを介して配信するシステムの技術評価も完了している。
さらに、音声認識により付与されたテキストを利用して、講義をトピックにより自動分割し、配信や検索、振り返り学習に役立てる目的に対し、DNN（BERT)を利用した予備的実験を行い、実用可能な精度が得られることを確認している。
|
| Strategy for Future Research Activity |
今後は、引き続き大量のアノテーション付きコーパスを継続構築していくと共に、これまでに構築した自動字幕付与システム、ビデオ配信プラットフォーム、カット編集の支援、トピック自動分割の統合を行うことを目指す。また、実際の教育学習環境において、被編者による評価を行い、課題を抽出すると共に、課題解決に向けた今後の研究の方向性を示す。
|
| Causes of Carryover |
次年度に大規模なシステムの統合開発と実験を計画しており、そのための支出を確保するために、設備の購入等を控えている。またコロナにより旅費の支出がなかったこともその要因となる。
一方で、コロナによる影響の緩和と共に、本来の情報収集や意見交換、さらには研究発表に係る旅費の計上が増加する予定であり、今後は先のシステム統合費用とその稼働環境であるサーバ等の設備の購入費を併せて研究費を使用する予定である。
|
Research Products
(4 results)
