| Project/Area Number |
18H04107
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (A)
|
| Allocation Type | Single-year Grants |
|---|
| Section | 一般 |
|---|
| Review Section |
Medium-sized Section 61:Human informatics and related fields
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
峯松 信明 東京大学, 大学院工学系研究科(工学部), 教授 (90273333)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
牧野 武彦 中央大学, 経済学部, 教授 (00269482)
山内 豊 創価大学, 教育学部, 教授 (30306245)
齋藤 大輔 東京大学, 大学院工学系研究科(工学部), 准教授 (40615150)
|
|---|
| Project Period (FY) |
2018-04-01 – 2022-03-31
|
| Project Status |
Granted (Fiscal Year 2021)
|
| Budget Amount *help |
¥40,560,000 (Direct Cost: ¥31,200,000、Indirect Cost: ¥9,360,000)
Fiscal Year 2021: ¥10,270,000 (Direct Cost: ¥7,900,000、Indirect Cost: ¥2,370,000)
Fiscal Year 2020: ¥9,490,000 (Direct Cost: ¥7,300,000、Indirect Cost: ¥2,190,000)
Fiscal Year 2019: ¥10,010,000 (Direct Cost: ¥7,700,000、Indirect Cost: ¥2,310,000)
Fiscal Year 2018: ¥10,790,000 (Direct Cost: ¥8,300,000、Indirect Cost: ¥2,490,000)
|
|---|
| Keywords | 外国語教育 / シャドーイング / 瞬時的明瞭度 / 音声認識 / 聴解モデリング / 可解性と了解性 / 定量的計測 / 逆シャドーイング / 可解性 / 定量的評価 / 事後確率DTW / 発音評価 / comprehensibility / 音素事後確率 |
|---|
| Outline of Annual Research Achievements |
外国語学習者の音声は本人にとっては聞き取りやすいが，聴取者にとっては必ずしも聞き取りやすい訳ではない。聴取者にとっての聞き取りやすさ，可解性をデータとして計測する方法として，聴取者（多くは母語話者）にシャドーさせ，そのシャドー音声の崩れを計測することで，shadowability のアノテーションとする方法を提案している。昨年度は，母語話者のシャドーイング音声と，学習者が意図した単語列（音素列）を使って崩れの度合いを自動計測したが，本年度ではより高精度なアノテーション構築を目的とし，シャドーさせた後に学習者が意図した文を読み上げさせ，シャドー音声と読み上げ音声とを比較することで，どこで崩れが生じているのかを計測する手法を検討した。シャドー音声のみが使える状況から，読み上げ音声も参照することができるため，計測の信頼性が格段に向上した。この手法を更に向上させることを目的として，読み上げ作業を，スクリプトシャドー作業（意図されたテキストを見ながら，学習者音声をシャドーする）へと変更した。こうすることで，１）学習者読み上げ音声，２）母語話者スクリプトシャドー音声（一番上手なシャドーができた場合の音声），３）母語話者シャドー音声が得られ，shadowability の自動計測のみならず，３種類の音声を学習者に提示するだけで，教育的効果があることも予備的に検討できた。これらの研究成果は国内外の学会で発表しており，日本音響学会や情報処理学会より学生発表賞を受賞するなど，非常に高く評価された。また，東南アジアを中心とした人材派遣会社と，本手法を基盤に添えた日本語教育アプリの開発を検討することとなったことも成果の一つである。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
より高精度なアノテーション構築を目的とし，シャドーさせた後に学習者が意図した文を読み上げさせ，シャドー音声と読み上げ音声とを比較することで，どこで崩れが生じているのかを計測する手法を検討した。シャドー音声のみが使える状況から，読み上げ音声も参照することができるため，計測の信頼性が格段に向上した。この手法を更に向上させることを目的として，読み上げ作業を，スクリプトシャドー作業（意図されたテキストを見ながら，学習者音声をシャドーする）へと変更した。こうすることで，１）学習者読み上げ音声，２）母語話者スクリプトシャドー音声（一番上手なシャドーができた場合の音声），３）母語話者シャドー音声が得られ，shadowability の自動計測のみならず，３種類の音声を学習者に提示するだけで，教育的効果があることも予備的に検討できた。これらの研究成果は国内外の学会で発表しており，日本音響学会や情報処理学会より学生発表賞を受賞するなど，非常に高く評価された。また，東南アジアを中心とした人材派遣会社と，本手法を基盤に添えた日本語教育アプリの開発を検討することとなったことも成果の一つである。
|
| Strategy for Future Research Activity |
３つの方向性を考えている。１）母語話者による逆シャドー＋スクリプトシャドーを，異なる対象言語を学ぶ学習者に対して依頼する学習者相互シャドーイングへと拡張し，データ収集を拡張する。２）逆シャドー＋スクリプトシャドーより，可解性の時系列アノテーションが取得できる。学習者音声からこの時系列アノテーションへの変換技術を構築する。この場合，シャドワーの言語背景などを考慮し，シャドワー依存の変換技術とするのが教育的には妥当であると考えている。３）学習者相互シャドーイングの応用の一つとして，学習者音声の可解性を，その学習者の母語を学ぶ外国人の音声を使って提示する方法を検討する。例えば，日本人が英語を学ぶ場合を考えると，その英語音声の可解性を，外国人の日本語音声を使って，「あなたの英語の聞き取りにくさは，この日本語音声とほぼ等価です」と戻す方策である。１）と２）は同時進行，３）は独立した研究となるが，担当する学生の興味の対象などを考慮し，どちらに進むべきかを検討する。なお本プロジェクトは海外の研究機関との協力が不可欠であるので，（コロナの状況で難しくなっているが）積極的に協力を呼びかける。
|
