2017 Fiscal Year Research-status Report

シャドーイングにおけるスマホの音声合成・音声認識機能の利用効果に関する実証的研究

Research Project

Project/Area Number	16K02881
Research Institution	Nagoya University
Principal Investigator	古泉隆名古屋大学, 教養教育院, 助教 (60549541)
Project Period (FY)	2016-04-01 – 2019-03-31
Keywords	シャドーイング / 音声認識 / 音声合成 / スマホ
Outline of Annual Research Achievements	本研究は、シャドーイング活動において音声合成・音声認識機能を利用する効果を実証的に検証することを目的とする。英語母語話者音声または音声合成によるお手本の音声を聞いてシャドーイングができ、それを音声認識により自動評価できるスマホアプリを開発し、日本人大学生に一定期間、アプリを利用してシャドーイング活動を行ってもらう。事前・事後テストの結果等に基づき、シャドーイング活動における音声合成および音声認識の利用効果を明らかにする。平成２９年度は、開発したアプリを修正し、その後、予備実験・本実験を行いデータを収集した。平成２８年度中にウェブアプリを開発していたが、スマホ（ブラウザ）の音声認識APIの仕様変更により音声認識が意図したように動作しないことが確認された。そのため、より安定的かつ、汎用的にスマホでも利用が可能なクラウド型の音声認識サービスを利用することとし、Androidのネイティブアプリとして修正・開発をした。また、クラウド型音声認識サービスをスマホのシャドーイングアプリに利用するにあたって、その精度および特性を検証し、結果を論文にまとめ採択された。その後、日本人大学生に予備実験に協力・参加してもらい、従来型のシャドーイング（母語話者のお手本を聞いてのシャドーイング＋録音による自己チェック）と音声合成・音声認識利用型のシャドーイング（音声合成のお手本を聞いてのシャドーイング＋音声認識による自動評価・フィードバック）の各グループに対して一定期間シャドーイング学習を行ってもらい、事前・事後テストやアンケート等を実施した。予備実験の結果を受けてアプリの調整等を行った後、本実験を実施しデータを収集した。
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason 実験データの収集を一通り行っており、次年度に予定される、シャドーイングにおける音声合成・音声認識の効果の分析が可能であるため。
Strategy for Future Research Activity	平成３０年度は、シャドーイングにおける音声合成・音声認識の効果の分析を行う。分析データとしては、事前・事後テストの結果、アンケート調査結果、およびシャドーイング学習の際に得られた学習ログデータを用いる予定である。
Causes of Carryover	実験参加者にシャドーイング練習の音声を録音してもらうためのボイスレコーダーを複数台購入予定であったが開発したシャドーイングアプリに録音機能を実装し不要となったことや、学会発表の旅費が予定より少なかったことなどが主な理由で、次年度使用額が生じた。次年度の使用計画として、学会発表の旅費に充てるなどして有効活用を図りたい。