2023 Fiscal Year Annual Research Report
Designing and Managing a Multi-modal Corpus of English Classes to Empower English Teachers
| Project/Area Number |
19K00873
|
|---|
| Research Institution | Hokkaido University of Education |
|---|
Principal Investigator |
片桐 徳昭 北海道教育大学, 教育学部, 教授 (60734829)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
大橋 由紀子 ヤマザキ動物看護大学, 動物看護学部, 准教授 (40589793)
|
|---|
| Project Period (FY) |
2019-04-01 – 2024-03-31
|
| Keywords | 授業コーパス / 自動音声認識 / ビデオテキストトラック (VTT)) |
|---|
| Outline of Annual Research Achievements |
Microsoft Streamで授業ビデオを再生するときに、トランスクリプションという音声を書き起こす機能が備わっている。日本語と英語という複数言語が混在する英語授業の録画において、現段階では、両言語を同時に書き起こすことは不可能である。そこで、日本語と英語を別々に書き起こしたトランスクリプションを用意して、この2種類のVideo Text Track (VTT) ファイルを1本にまとめるソフトウェア(VTT2)を開発した。VTT2では、VTTフォーマットの複数のファイルをビデオの時間情報(タイムスタンプ)をもとに2種類のVTTファイル内の書き起こしを並べる。この状態で、不要な情報を削除したり、間違えのある書き起こしの修正が可能となった。例えば、日本語モードでの書き起こしで英語が話されると、意味をなさない英語に書き起こされ、反対に英語モードでの書き起こしでは日本語の発話が意味のない英語書き起こしとなる。VTT2はこれを1画面上で不要な部分の削除と誤表記の修正を可能とした。この機能により、1回50分の授業の書き起こし作業が人手だけによる場合(5-6時間程度)と比較して、短い場合で2.5時間程度に短縮できることとなった。研究期間中は新型肺炎感染症のパンデミック化で、教室での授業データの収録がほとんど不可能となり、マルチモーダルコーパスまでは行きつかなかったが、本研究の成果は、今後マルチモーダルコーパスを開発していく上で、重要なモジュールとして使用される方向性を示すものである。
|
