英語母語話者の調音と音象徴を伝達するVR技術を基盤とした音声訓練法の設計

2020 Fiscal Year Research-status Report

• Project/Area Number: 20K19936
• Research Institution: The University of Tokyo
• Principal Investigator: 福嶋 政期 東京大学, 大学院情報学環・学際情報学府, 助教 (30761861)
• Project Period (FY): 2020-04-01 – 2022-03-31
• Keywords: 学習支援 / VR / 音声合成 / シャドーイング

Outline of Annual Research Achievements

日本人のTOEFLのスピーキングの得点は世界147カ国中最下位であるという報告がある。高校の授業では音声練習の時間が短く、自主学習に依存しがちである。そのため、どうしても自分なりの発音になり、英語母語話者の発音と自身の調音イメージが一致せず、音声の聴取や発話が困難になる（課題1）。そもそも言語習得の第一歩は、言語特有の「音」を理解することであり、子音や母音の感覚を理解した上で、フォニックスを練習する必要がある。しかし、このような「言語感覚」を提示できる感覚提示手法は少ない（課題2）。

自主学習の音声練習において正しい調音を学ぶために（課題1）、個々の学習者がそれぞれ達成すべき正しい調音を英語母語話者が直接教示できるようにする。そのために、英語母語話者の音声や顔を学習者のものに変換して提示する学習を提案する。また、英語の言語感覚を理解するために（課題2）、英語の音象徴や単語が持つ豊かなイメージを感覚刺激に変換し、発話や音読などの出力の学習を、体感を伴う学習に変える。

本年度は特に前者に注力した。元話者と目標話者が異なる言語を話す場合を対象とした声質変換技術であるクロスリンガル声質変換を利用し、英語母語話者の音声を日本人学習者の音声に変換する。音声の変換に伴う劣化を発音評価ソフトウェアで定量化した。また、実際に学習者にシャドーイングをしてもらい、変換音声の音声訓練への適用可能性について検討した。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

変換した音声の劣化を発音評価ソフトウェアで定量化した。また実際に学習者に変換音声でシャドーイングをしてもらった。ここで使う発音評価ソフトウェアは、発話を発音・アクセント・イントネーション・タイミング・総合の5つの尺度でスコア化する。前者の音声の劣化については、英語母語話者の声を学習者の声に変換する処理によって音素単位の発音スコアが低下してしまったが、リズムやイントネーションのスコアは維持できていることが確認できた。後者のシャドーイングでの利用については、英語母語話者の音声でシャドーウィングをする場合をベースラインとし、変換音声を使ったシャドーウィングをする場合と比較した。実験参加者の内観報告から、「自身の音高に近いので作業負荷が比較的小さくなる」という意見や、「リズムやイントネーションが取りやすい」という意見があった。一方で、「発音が分からない」という意見や「聞き取りづらい」という意見もあり、改善が必要である。

Strategy for Future Research Activity

音声変換技術を改善するとともに、英語母語話者による評価も行う。シャドーウィングの実験においては、教材が比較的容易であったため、ベースラインでもシャドーイングができてしまったようである。教材を変えて再度実験を行う。単語の音象徴や意味をフォントで表現する技術についても実装を進める。