2021 Fiscal Year Research-status Report
Relative assessment of learners' pronunciations based on their bi-directional shadowing and its practical application in class
| Project/Area Number |
20K20407
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
峯松 信明 東京大学, 大学院工学系研究科(工学部), 教授 (90273333)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
齋藤 大輔 東京大学, 大学院工学系研究科(工学部), 准教授 (40615150)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | 外国語教育 / 高齢化・少子化 / 外国人労働者 / 音声教育 / 了解性 / シャドーイング |
|---|
| Outline of Annual Research Achievements |
外国語学習者の音声は本人にとっては聞き取りやすいが，聞き手にとっては必ずしも聞き取りやすいとは限らない。聞き手が感じる聞き取りやすさ(瞬時的了解度)を客観的に計測し，話し手に効果的に伝達する方法として，聞き手(多くは母語話者)にシャドーさせ，そのシャドー音声の崩れを計測することで，瞬時的了解度のアノテーションとする方法を検討している（シャドーの崩れは聴取の崩れとして解釈できる）。
シャドー崩れの計測は，シャドーイングの直後に，話し手が参照したテキストを見ながら再度シャドーさせた (スクリプト・シャドー)音声を取得し，これとシャドー音声とを比較し，崩れの様子を時系列として取得する。昨年度，a) 学習者音声を音声認識した時の誤り率，b) 母語話者シャドー音声を音声認識した場合の誤り率，c) 母語話者によるシャドー音声とスクリプトシャドー音声から求まる崩れ度合い，のいずれが，聞き手の聴取崩れをより正確に表現できているのかを検討し，提案手法である c) の優位性を実験的に示すことができた。この結果を踏まえ，本年度は，1) 日本人による読み上げ英語音声を母語話者（相当）にシャドー，スクリプトシャドーさせ，瞬時的了解度アノテーション付きコーパスを構築し，2) （外国人労働者数の最も多い）ベトナム人による読み上げ日本語音声を日本語母語話者にシャドーさせ，同様のアノテーション付きコーパスを構築した。これらを用いて，3) 聞き手が感じる了解度を予測するモデルを深層学習，機械学習を用いて構築した。更には，4) 英語学習者が母語話者英語を聴取したり，非母語話者英語を聴取した場合に感じる聞き取りにくさを同様に計測，分析し，アノテーション付きコーパスを構築した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究は，学習者の音声を母語話者が聞いたり，母語話者の音声を学習者が聞いたり，更には学習者の音声を学習者が聞くなど，様々な状況において，聞き手が話し手の音声に対して，どこで，どのくらい聴取崩れが生じたのかを時系列として計測し，ある聞き手がある話者の音声を聞いた時に，どのように聴取が崩れるのかを予測するモデルを構築することにある。a)米国人が日本人の英語を聞く，b)日本人が米国人の英語を聞く，c)日本人が日本人の英語を聞く，d)様々な国の英語学習者が様々な国の英語を聞く，e)日本人がベトナム人の日本語を聞く，という場面を想定して検討した。数百の音声を聴取させ，それをシャドーイング，及び，スクリプトシャドーイングさせることで，聴取崩れを時系列として計測し，それを提示音声の聞き取りにくさ（聴取崩れの大きさ）アノテーションとして採用している。一定の規模のコーパスが構築されたので，a), b), c), e) の場合において，どのような聞き手がどのような英語を聞くと，どこで聴取がどのくらい崩れるのかを予想するモデルを深層学習，機械学習を用いることで構築した。良好な精度を得ることができたが，来年度（最終年度）は，抽出する特徴量やモデルの構造を最適化することで精度向上を実現し，また，現場にて応用することで，本研究成果の妥当性，実用性についても検討したい。
|
| Strategy for Future Research Activity |
昨年度，a)米国人が日本人の英語を聞く，b)日本人が米国人の英語を聞く，c)日本人が日本人の英語を聞く，d)様々な国の英語学習者が様々な国の英語を聞く，e)日本人がベトナム人の日本語を聞く，という場面を想定してコーパスを構築し，a), b), c), e) の場合において，どのような聞き手がどのような英語を聞くと，どこで聴取がどのくらい崩れるのかを予想するモデルを深層学習，機械学習を用いることで構築した。単語単位で聞き取りが崩れるのか否かを予想するモデルを構築したが，瞬時的了解度は時系列として定義されるため，判定の単位を音素，フレームとすることで，深層学習，機械学習時の学習データのサンプル数を格段に増やすことが可能となる。更には，抽出する特徴量やモデルの構造の最適化も検討して，精度向上を実現する。英語教育，日本語教育の現場にも導入し，本研究成果の妥当性，実用性についても検討したい。特に，学習対象言語の母語話者と会う機会が乏しい学習者に対して，「当該学習者の発音は母語話者のそれとどこがどのように違うのか」「そして，その発音はどこで聴取が崩れるのか」の両者を提示することを検討したい。母語話者のような発音を求める学習者は少なくないが，十分伝わることで客観的に示すことで，彼らを安心させることができると考えられる。
|
| Causes of Carryover |
本研究課題の場合，残額は自動で翌年度に繰り越されるため，数万円の残額は無理に使用せず，翌年度に繰り越した。なお，繰り越しに回した額はシャドーイング音声収集の被験者者金となる予定であった。次年度もデータ収集は続けるため，謝金として使うことになる。
|
