2020 Fiscal Year Annual Research Report
Research and development of multi-modal interactive English learning system based on deep learning
| Project/Area Number |
17H00823
|
|---|
| Research Institution | Tohoku University |
|---|
Principal Investigator |
伊藤 彰則 東北大学, 工学研究科, 教授 (70232428)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
能勢 隆 東北大学, 工学研究科, 准教授 (90550591)
|
|---|
| Project Period (FY) |
2017-04-01 – 2021-03-31
|
| Keywords | CALLシステム / 英会話練習システム / 英語発音の自動評価 / 英文の発音難易度評価 |
|---|
| Outline of Annual Research Achievements |
本年度は、昨年度の成果を受けて、次の２つの研究を行った。①任意の音声の発音評価ができるシステムを利用し、音声対話型CALLシステムを開発した。②発音評価値を「話者の能力」と「文の発音難易度」に分けて評価する方法を開発した。
これらのうち①については、プラットフォームとしてPythonベースのFlaskを利用し、利用者の音声入力をもとに、シナリオベースの英会話を行うシステムを開発した。学習者の発話に応じてシナリオに合った返事をするほか、昨年度開発した発音評価システムを利用して、発音の良さをフィードバックする機能を持っている。
また、②では、英語の文が与えられたとき、その文の発音しやすさを推定する手法を開発した。これには2つの意義がある。1つ目の意義は、機械による発音評価をさらに高精度化することが可能になることである。ネイティブ話者が学習者の発音の評価を行う際には、単純に発音だけをもとに判断しているのではなく、どういう文を発話しているかも考慮して評価をしていることが明らかとなっている。すなわち、もともと発音が難しい文であれば、ある学習者の発音があまり良くなかったとしても、発音の難しさを割り引いて評価する傾向があるのである。しかし、これは従来の発音評価の枠組みでは考慮されない。2つ目の意義は、学習者の「ある文の発音の良さ」ではなく、その学習者の発音能力を測ることができることである。ある学習者がある文を発話したとき、その文の発音の上手さには学習者の発音能力と文の発音難易度の2つの要因が関係する。しかし従来はこの2つの要因を分離して評価できていなかった。本研究では、まずネイティブ話者による文の発音評価スコアを、文の発音難易度と学習者の発音能力に分離する手法を開発した。さらに、英文の特徴量から文の発音難易度を推定する手法を開発した。
|
| Research Progress Status |
令和2年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
令和2年度が最終年度であるため、記入しない。
|
Research Products
(22 results)
