音声認識・音声合成を応用利用したシャドーイング教材の難易度の最適化

2020 Fiscal Year Research-status Report

• Project/Area Number: 19K00788
• Research Institution: Nagoya University
• Principal Investigator: 古泉 隆 名古屋大学, 教養教育院, 講師 (60549541)
• Project Period (FY): 2019-04-01 – 2023-03-31
• Keywords: シャドーイング / 音声認識 / 音声合成 / 速度調整

Outline of Annual Research Achievements

本研究では、シャドーイングのモデル音声（合成音声を利用）の速度を、音声認識を利用し自動調整することで、または学習者自身が調整することで、どのようにシャドーイングの難易度が最適化され、どのような学習効果が得られるかを検証していく。
2020年度は、前年度に試作したスマホ用シャドーイングアプリの改良および、アプリを用いた本調査・データ収集を進めた。まず、前年度に試作したアプリに対し、コンテンツおよび細かな動作を見直し、全３０ユニットからなるスマホ用シャドーイングアプリを完成させた。各ユニットでは、モデル英文（各100語程度）を様々な形式（テキストあり、テキスト無しなど）でシャドーイングし、その出来具合を自動評価することで各自で継続的に学習ができるようにした。また、モデル音声となる音声合成の音源も再度検討し、調整を行った。
調査は、大学生に参加してもらい、英語授業のない春休みに実施した。アプリをインストールしたスマホを参加者に貸与し、自宅等で計１０日間シャドーイング学習を行ってもらった。学習期間の前後にリスニングテスト（VELC Testのリスニングセクション）とスピーキングテスト（Versant Speaking Test）を実施した。また、学習期間後にはアンケートを実施した。調査では、シャドーイングのモデル音声の速度が固定されたグループ（速度固定グループ）とシャドーイングのモデル音声の速度を自由に変更できるグループ（速度変更可能グループ）の２つのグループを設け、それぞれのデータ（テストスコア・学習ログ・アンケート等）を収集した。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

当初予定していたように、、シャドーイングのモデル音声の速度が固定されたグループ（速度固定グループ）とシャドーイングのモデル音声の速度を自由に変更できるグループ（速度変更可能グループ）の２つのグループで調査を実施し、データ収集が進んでいるため。

Strategy for Future Research Activity

2021年度では、速度変更可能グループの学習ログ（速度変更に関するログなど）を分析し、リスニング・スピーキングテストのスコアの伸びに貢献する速度変更行動を探索し、その知見をシャドーイングアプリの速度自動調整機能に取り入れる。そのうえで、速度自動調整型のシャドーイングアプリを用いた調査を中心に、データ収集をさらに進めていく。
最終年となる2022年度では、速度固定グループ、速度変更可能グループ、および速度自動調整グループにおけるリスニング・スピーキングテストスコア、アンケート調査結果、学習ログを分析し、シャドーイングの難易度の適切化および学習効果について検討する。

Causes of Carryover

学会がオンライン開催だったため旅費の使用がなかったことと、スマホのSIMカードなどの物品費が想定よりも低く抑えることができたため次年度使用額が生じた。使用計画については、調査参加者の規模を増やすことを検討したい。