Construction of a bilingual speech-to-text system using automatic speech recognition and its application to class analysis

Research Project

Project/Area Number	24K04125
Research Category	Grant-in-Aid for Scientific Research (C)
Allocation Type	Multi-year Fund
Section	一般
Review Section	Basic Section 02100:Foreign language education-related
Research Institution	Hokkaido University of Education
Principal Investigator	片桐徳昭北海道教育大学, 教育学部, 教授 (60734829)
Project Period (FY)	2024-04-01 – 2027-03-31
Project Status	Granted (Fiscal Year 2024)
Budget Amount *help	¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000) Fiscal Year 2026: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000) Fiscal Year 2025: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000) Fiscal Year 2024: ¥2,080,000 (Direct Cost: ¥1,600,000、Indirect Cost: ¥480,000)
Keywords	日英両言語自動音声認識(ASR) / システム構築 / 授業コーパス / 授業分析 / ディープラーニング
Outline of Research at the Start	本研究はASR(自動音声認識)を用いて,日本語・英語の複数言語を含む授業資料(映像+音声)の文字起こしを行う。その際、通常1つの特定の言語しか認識が行われないため、異なる言語を含む音声ファイルの書き起こしができるよう、bilingual speech-to-textシステムを構築する。その後、COLT Part Bという分析枠を基盤にして、AI(ディープラーニング)による授業分析の自動化への道筋を示す。