2020 Fiscal Year Research-status Report
Relative assessment of learners' pronunciations based on their bi-directional shadowing and its practical application in class
| Project/Area Number |
20K20407
|
|---|
| Allocation Type | Multi-year Fund |
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
峯松 信明 東京大学, 大学院工学系研究科(工学部), 教授 (90273333)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
齋藤 大輔 東京大学, 大学院工学系研究科(工学部), 准教授 (40615150)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | 外国語教育 / 高齢化・少子化 / 外国人労働者 / 音声教育 / 可解性 / 学習者相互シャドーイング |
|---|
| Outline of Annual Research Achievements |
外国語学習者の音声は本人にとっては聞き取りやすいが，聞き手にとっては必ずしも聞き取りやすいとは限らない。聞き手が感じる聞き取りやすさ（瞬時的了解度）を客観的に計測し，話し手に効果的に伝達する方法として，聞き手（多くは母語話者）にシャドーさせ，そのシャドー音声の崩れを計測することで，瞬時的了解度のアノテーションとする方法を検討している。シャドーの崩れは，シャドーイングの直後に，話し手が参照したテキストを見ながら再度シャドーさせた（スクリプト・シャドー）音声を取得し，これとシャドー音声とを比較し，崩れの様子を時系列として取得する。昨年度，提案手法の予備的検討として，中国人の日本語学習者(*)を対象として，a) 彼ら(*)の日本語音声を母語話者（日本人）にシャドーさせ，また，b) 外国人の中国語音声を彼ら(*)にシャドーさせ，彼ら(*)の日本語に対する瞬時的了解度を，自身の母語（中国語）を学ぶ外国人の音声を使って提示する方法を検討した。本年度は，提案手法の妥当性をより深く吟味するために，1) 学習者音声を音声認識した時の誤り率，2) 母語話者シャドー音声を音声認識した場合の誤り率，3) 母語話者によるシャドー音声とスクリプトシャドー音声から求まる崩れ度合い，のいずれが，聞き手の聴解の崩れをより正確に表現できているのかを検討し，提案手法である 3) の優位性を実験的に示すことができた。さらに，了解度を計測する場合の音声の単位として音素，音節，単語を想定し，提案手法の妥当性を議論した。この結果を踏まえ，英語母語話者（相当）による日本人英語のシャドー・スクリプトシャドー音声，また，日本人による母語話者英語のシャドー・スクリプトシャドー音声の両方を大規模に収集するインフラ構築を行い，大規模コーパスの収集を始めることができた。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
外国語学習者の音声は本人にとっては聞き取りやすいが，聞き手にとっては必ずしも聞き取りやすいとは限らない。聞き手が感じる聞き取りやすさ（瞬時的了解度）を客観的に計測し，話し手に効果的に伝達する方法として，聞き手（多くは母語話者）にシャドーさせ，そのシャドー音声の崩れを計測することで，瞬時的了解度のアノテーションとする方法を検討している。この方法を話し手と聞き手に相互に行う（話し手・聞き手が，聞き手・話し手となる）ことで，互いにとっての瞬時的了解度を相手に示すことができる。本年度は，双方向性の分析には主眼を置かず，一方向による瞬時的了解度の計測についてより詳細な分析を行い，本手法の優位性を示すことができた。その研究成果は，音声学会の全国大会にて優秀発表賞を受賞するに至った。それを踏まえ，双方向の分析とモデル化（AにとってBはどのくらい聞き取り易いのか，BにとってAはどのくらい聞き取り易いのか）を検討するための大規模コーパスの収集インフラを構築することができた。外国語学習者の音声を母語話者（相当）の話者にシャドー，及び，スクリプト・シャドーさせる。母語話者の音声を学習者にシャドー，及び，スクリプト・シャドーさせる。これらの音声を使うことで，互いの瞬時的了解度が定量的に明らかとなると予想される。
|
| Strategy for Future Research Activity |
双方向の分析とモデル化（AにとってBはどのくらい聞き取り易いのか，BにとってAはどのくらい聞き取り易いのか）を検討するための大規模コーパスの収集を継続する。外国語学習者の音声を母語話者（相当）の話者にシャドー，及び，スクリプト・シャドーさせた結果より，任意の学習者音声に対して「母語話者の聴解がいつ，どこで，どの程度崩れるのか」を予測するモデルの構築を検討する。さらに，母語話者の音声を学習者にシャドー，及び，スクリプト・シャドーさせた結果より，任意の母語話者音声に対して「学習者の聴解がいつ，どこで，どの程度崩れるのか」を予測するモデルの構築を検討する。これらのモデルを精緻化することで，ある学習者がその言語の母語話者と会話した時に，母語話者の聴解，および，学習者の聴解が，いつ，どこで，どのくらい崩れるのかを，実際に相手に会う前に知ることができる。聞き手である他者のシミュレータ，他者モデルの構築を目指す。外国語教育における最大の問題は，学習者の発言を聞いて反応してくれる相手がいないことである。従来の技術応用では，彼らの発言を自動音声認識にかけてその結果を学習者に示すことがよく行われているが，本研究では，より積極的に聞き手を聴解プロセスのモデル化を検討する。
|
| Causes of Carryover |
コロナ禍での研究活動となったため，データ収集の一部が本年度実施不可能となり，来年度に持ち越すこととなった。コロナの問題がいつ解決するのか先が読めないが，ネット＋PCによる音声収集インフラを強化することで対応することとし，本年度はそちらに注力した。来年度は実際の音声収集が行えるはずである。
|
