Designing and Managing a Multi-modal Corpus of English Classes to Empower English Teachers

2023 Fiscal Year Final Research Report

• Project/Area Number: 19K00873
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 02100:Foreign language education-related
• Research Institution: Hokkaido University of Education
• Principal Investigator: Katagiri Noriaki 北海道教育大学, 教育学部, 教授 (60734829)
• Co-Investigator(Kenkyū-buntansha): 大橋 由紀子 ヤマザキ動物看護大学, 動物看護学部, 准教授 (40589793)
• Project Period (FY): 2019-04-01 – 2024-03-31
• Keywords: 授業コーパス / 自動書き起こし / マルチモーダル / 英語教育 / 教師教育

Outline of Final Research Achievements

The developed software records English lessons and uses AI on the internet for automatic transcription. It combines transcription files of two languages into one, enabling the editing of multilingual transcriptions. This development reduced the transcription time for a 50-minute lesson from 5-6 hours manually to approximately 2.5 hours. These are the outcomes of this research.

Free Research Field

コーパス言語学

Academic Significance and Societal Importance of the Research Achievements

本研究の新規性はMicrosoft Stream上で日本語と英語を別々に書き起こしたトランスクリプショがVideo Text Track (VTT)形式で活用でき、この2種類のVTTファイルを1本にまとめるソフトウェア(VTT2)を開発したことにある。VTT2の活用により、授業のコーパス資料(発話の書き起こしデータ)提供がこれまでより早く提供できることとなること、授業ビデオが映像と音声情報を持つことから、今後マルチモーダルコーパスを開発していく上で、重要なモジュールとして使用される方向性を示すと言う点で学術的意義が存在し、授業データが英語教育の発展に貢献しうることに社会的意義が存在する。