2016 Fiscal Year Annual Research Report
多言語に対応できるシャドーイング自動評価システムの開発と外国語教育への応用研究
| Project/Area Number |
16H03084
|
|---|
| Research Institution | Tokyo International University |
|---|
Principal Investigator |
山内 豊 東京国際大学, 商学部, 教授 (30306245)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
峯松 信明 東京大学, 大学院工学系研究科(工学部), 教授 (90273333)
染谷 泰正 関西大学, 外国語学部, 教授 (40348454)
川村 明美 東京国際大学, 言語コミュニケーション学部, 教授 (30326996)
西川 惠 東海大学, 外国語教育研究センター, 准教授 (10453705)
Husky Kay 東京国際大学, 商学部, 准教授 (50237955)
|
|---|
| Project Period (FY) |
2016-04-01 – 2020-03-31
|
| Keywords | シャドーイング / 自動評価 / 多言語対応 / ディープ・ラーニング / 手動評価 / 総合的熟達度 / 評価精度 / 外国語教育 |
|---|
| Outline of Annual Research Achievements |
シャドーイングは,外国語の聴解力や口頭再生力を高め,言語処理を高速化させられる有効な練習法の一つだが,手動評価は時間と手間がかかって教員の負担になり平常授業への組入れが難しかった。
コンピュータに自動評価させることで,人工知能に従来では不可だった認識や推論をさせられるdeep learningをシャドーイング自動評価技術に取り入れることで,評価精度がどの熟達度グループでどれだけ高まるのか実証的に明らかにした。
10文から構成される英文パッセージを,熟達度の異なる日本人英語学習者120名に4回シャドーイング録音してもらった。学習者が英文パッセージに慣れて，各学習者のパフォーマンスがよりよく現れると考えられる4回目のシャドーイング音声を対象に,手動評価と自動評価を実施した。手動評価では,英語教員が120名のシャドーイング音声を繰り返し聞き,(1) 発音 (2) 韻律 (3) 心的辞書との結びつきという3つの観点から5尺度法で採点した。自動評価では従来のHMM (Hidden Markov Model)を使った従来の音響モデルに基づくGOP得点のほかに,deep learningによるアルゴリズムを使った新しいGOP得点も算出できるようにした。
新しい自動評価得点と手動評価得点の相関係数(r=.815)は,従来の自動評価得点と手動評価得点の相関係数(r=.489)よりも1％の有意水準で高いものとなった。さらに,TOEIC得点に基づく上位,中位,下位の3群に分けた場合の新しい自動評価得点と手動評価得点の相関係数は、各々がr=.795, r=.> 810, r=.797 (p<.01)となり,新しい自動評価法は,熟達度に関係なく評価精度を向上できることがわかりdeep learningがシャドーイング自動評価にも有効なことが明らかとなった。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
英語シャドーイングの自動評価の精度を向上させるため，deep learningに基づく新アルゴリズムを使って自動評価できるシステムを開発し,以下のような結果を得て、自動評価におけるdeep learningの有効性を明らかにできたため。日本人学習者のシャドーイング音声に対して，新しい自動評価得点，従来の自動評価得点，英語教員による手動評価得点を、比較・分析した結果，新しいアルゴリズムの評価精度が高まり，上位・中位・下位のどの熟達度グループに対しても精度向上が見られた。以上のような結果から，現在までの進捗状況について，おおむね順調に進んでいると思われる。
|
| Strategy for Future Research Activity |
今後は、ディープ・ラーニングを活用した自動評価に加えて、多言語に対応できるように、学習者音声とモデル音声を直接比較できる新しいアルゴリズムを導入する。
従来の自動評価システムでは，学習者音声は，コンピュータ内に事前に用意された音響モデルと比較されて評価点が提示され，モデル音声との直接比較での評価ではなかった。学習対象言語が変わるごとに，対応する言語の音声コーパスを使って音響モデルを構築する必要があった。評価精度を上げるには，同じ英語でも，モデル音声がアメリカ英語ならアメリカ英語の音響モデルを，モデル音声がイギリス英語ならイギリス英語の音響モデルを用意する必要があり，時間と手間がかかっていた。
新しいアルゴリズムでは，学習者音声とモデル音声を，ディープ・ラーニングを使って音素クラス事後確率ベクトルに変換し，両者の隔たりを基にして評価点を出す。この方法を使うと，学習者音声とモデル音声を直接比較できるので，モデル音声の特徴（韻律や感情表現など）をどれだけ正確に口頭再生しているかも評価に生かすことができる。
ディープ・ラーニングを使うと，分析対象の音声を約3000の音素クラス数の事後確率ベクトルに変換して音響モデルを構築できる。一般に１つの言語がもつ音素数は数十程度なので，約3000という音素クラスは，任意の言語がもつ音素をほぼ包含すると考えられる。このため，事後確率化して音響モデルを構築ときに使用する言語は，学習対象言語だけでなく，学習対象言語と異なる言語でも，約3000の音素クラスが扱える音素事後確率ベクトルになり，学習対象言語の音素もカバーできるので，学習者音声とモデル音声を適切に比較評価ができると期待される。
|
