2017 Fiscal Year Annual Research Report
多言語に対応できるシャドーイング自動評価システムの開発と外国語教育への応用研究
| Project/Area Number |
16H03084
|
|---|
| Research Institution | Tokyo International University |
|---|
Principal Investigator |
山内 豊 東京国際大学, 商学部, 教授 (30306245)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
峯松 信明 東京大学, 大学院工学系研究科(工学部), 教授 (90273333)
染谷 泰正 関西大学, 外国語学部, 教授 (40348454)
西川 惠 東海大学, 外国語教育センター, 准教授 (10453705)
Husky Kay 東京国際大学, 商学部, 准教授 (50237955)
|
|---|
| Project Period (FY) |
2016-04-01 – 2020-03-31
|
| Keywords | シャドーイング / 自動評価 / 多言語対応 / ティープ・ランニング / 手動評価 / 総合的熟達度 / 評価制度 / 外国語教育 |
|---|
| Outline of Annual Research Achievements |
新しく開発するシステムでは，モデル音声と学習者音声を，ディープラーニング技術を使って，分析対象区間の音声的な特徴を音素クラス事後確率ベクトルに変換した。続いて，長さの異なる2つのベクトルを時系列の対応をとりながら比較できるDTW (Dynamic Time Warping)技術を使って，モデル音声と学習者音声との差異を示す距離を計算して評価した。口頭再生課題がよく出来ているほど，学習者音声はモデル音声に近くなり，距離的差異は小さくなる。したがって，口頭再生課題の出来とDTW距離は反比例して，マイナスの相関をもつことが予想される（予測１）。
従来の方法では，学習者とモデル音声を事後確率化するとき，学習対象言語を使用する必要がある。このため，学習対象言語が変わるたびに，各々の学習目標言語に対応する音響モデルを用意する必要がある。一方，新システムでは，音声的な特徴を音素クラス事後確率ベクトルに変換すると，音素をより詳細に定義した約3000の音素クラスの事後確率ベクトルが得られる。音素クラス数が約3000用意できると，さまざまな言語の音素をカバーできる可能性が高くなる。そのため，学習者とモデル音声を事後確率化するとき，学習対象の言語と異なる言語を使用しても，DTWを使った比較と評価ができる可能がある。したがって，学習対象言語が米語である場合，米語を使って事後確率化したDTWによる評価結果は，米語と異なる言語を使って事後確率化したDTWよる評価結果と，大きく異ならないと予想される（予測２）。
新システムの妥当性を検証するための実験の結果、上記の２つの予測を確認することができた。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
新システムの妥当性を検証するために、次のような実験を実施した。125人の大学生が，55個の英文からなる米語発音のモデル文を口頭再生した音声に対して，手動評価と自動評価を実施した。手動評価は，アメリカ人教員が，学習者音声を繰り返し聞き，発音，韻律，語彙アクセスという3つの観点から5尺度で評点した（3-15点）。自動評価では，予測２を検証するため，モデル音声と学習者音声に対して，学習対象言語（米語）と同じ言語（米語）を使って米語DNNによる事後確率化してDTW距離を比較する場合（ケースA）と，学習対象言語（米語）と異なる言語である日本語を使って日本語DNNによる事後確率化してDTWで比較する場合（ケースB）の2通りで計算した。
自動評価の結果は，手動評価得点が高いほどDTW距離は小さくなり，両者にマイナスの相関が見られた。さらに，ケースAの相関は-.80, ケースBの相関は-.74となり，両者の相関に有意な差は見られなかった。この結果は，学習対象言語と同じ言語を使っても，学習対象言語と異なる言語を使っても，大きく異ならないことを示している。
このように，DNN-based DTWを使った新しい評価システムは，モデル音声と学習者音声を直接比較できるため，学習対象言語が変わるごとに，対応する言語ごとに特定された音響モデルを用意する必要がなく，特定の言語に依存しないので，多言語に対応できる評価システムになると考えられ、多言語対応の自動評価システムの基盤となるアルゴリズムの構築が進んでいるため，おおむね順調に進展していると思われる。
|
| Strategy for Future Research Activity |
今後は、新しく開発した多言語対応のシャドーイング評価システムを使用して、英語以外の言語のシャドーイング評価を実際に実施し、本システムの有効性を検証していく。さらに、事後確率化を実施するときに、学習対象と異なる言語を日本語以外でも同じ結果になるかどうか，さらに、手動評価と自動評価の相関が最も高くなる音素クラス数を特定していくことなどが今後の課題と考えられる。
複数言語を網羅できる音素定義がされているコーパスが存在するので，このコーパスを使って，多言語に利用できるシャドーイング評価インフラを構築する。このようなインフラを，外国語コミュニケーション能力を高める相互シャドーイング活動応用し，その効果を実証していく予定である。
相互シャドーイング活動では，母語の異なる学習者同志がペアになる。まず，英語を目標言語として学んでいる日本人学習者Aは，ニュースなどの英語のモデル音声をシャドーイングして録音する。日本語を目標言語として学習している英語母語話者の学習者Bは，この日本人英語学習者がシャドーイングした録音音声を，音声モデルとしてシャドーイング録音する。このシャドーイング録音を，日本人英語学習者Aにフィードバックして聞いてもらう。このように，自分が目標言語をシャドーイングした音声を，目標言語の母語話者がシャドーイングした音声を聞くことによって，自分のシャドーイングの正確性をチェックすることができる。引いては，自分の目標言語能力を自覚することができる。
次に，学習者Aと学習者Bの役割を逆にして行う。このように，母語の異なる学習者がペアになり，相互にお互いのシャドーイング音声をモデルとしてシャドーイングし，それをフィードバックすることで，互いの口頭音声再生における問題点を意識し，今後何に注意して口頭練習していく必要があるかを自覚することができる。
|
