Research and development of multi-modal interactive English learning system based on deep learning

2020 Fiscal Year Final Research Report

• Project/Area Number: 17H00823
• Research Category: Grant-in-Aid for Scientific Research (A)
• Allocation Type: Single-year Grants
• Section: 一般
• Research Field: Educational technology
• Research Institution: Tohoku University
• Principal Investigator: ITO Akinori 東北大学, 工学研究科, 教授 (70232428)
• Co-Investigator(Kenkyū-buntansha): 能勢 隆 東北大学, 工学研究科, 准教授 (90550591) ; 千葉 祐弥 東北大学, 工学研究科, 助教 (30780936)
• Project Period (FY): 2017-04-01 – 2021-03-31
• Keywords: 外国語教育システム / 音声対話システム / 英語発音評価 / 英語韻律評価 / 雑談対話システム / 音声感情認識

Outline of Final Research Achievements

We developed technologies for an English conversation learning system based on deep learning and created a CALL system for practicing English conversation: (1) We established technology for recognizing English speech spoken by Japanese with high accuracy to improve the accuracy of interfaces for speech, facial expressions, and gestures based on deep learning. (2) To establish English pronunciation evaluation and English conversation simulation technology based on deep learning, we investigated the effects of facial expressions and gestures on English proficiency evaluation. In addition, we established a method to evaluate pronunciation with high accuracy for interactive speech. (3) We integrated the technologies to create a spoken dialogue English conversation learning system.

Free Research Field

音声言語情報処理

Academic Significance and Societal Importance of the Research Achievements

CALLシステムは手軽な英語学習の手段として使われているが，人間の教師に対して行うような柔軟な対話による英会話練習を実現したシステムは存在せず，人間の教師と同等の教育効果が得られる英会話学習システムの登場が望まれていた．
今回開発したシステムは，人間同士のような柔軟な対話を行うことができ，また事前にシナリオがない音声対話に対して高精度な発音評価ができるようになった．自由な対話をもとに学習ができる英会話学習システムはこれまで存在しないため，学術的に意義があると同時に，社会的にも価値が大きいと考えられる．