2019 Fiscal Year Research-status Report

Development of a tone adjustment self-study app with evaluation, including all the functions of Japanese intonation and elucidating their relationship

Research Project

Project/Area Number	19K00743
Research Institution	Prefectural University of Kumamoto
Principal Investigator	馬場良二熊本県立大学, 文学部, 教授 (30218672)
Co-Investigator(Kenkyū-buntansha)	飯村伊智郎熊本県立大学, 総合管理学部, 教授 (50347697) 森山賀文熊本県立大学, 総合管理学部, 准教授 (10413866) 石橋賢熊本県立大学, 総合管理学部, 准教授 (70749118)
Project Period (FY)	2019-04-01 – 2023-03-31
Keywords	音調機能の網羅 / 音調独習アプリ / AIによる発音評価 / 日本語学習者 / 楽しく楽に学べるシステムの開発 / 統計解析 / 進化計算 / 快適な言語コミュニケーション力の獲得
Outline of Annual Research Achievements	本年度は、ディープラーニング技術により、日本語の音調学習のための音調推定手法の開発に取り組んだ。特にかかり受けを対象として、「やせた女の子ども」という発話音声をとりあげた。「やせた女の子ども」の誤った音調と正しい音調を録音する必要がある。10拍からなる発話なので、高低の組み合わせを網羅すると1024通りとなる。今回は、「やせた女」部分の音調は、「低高高高高高」に固定し、「子ども」の部分だけ「高高高」「低高高」（以上、正しい音調）、「低高低」「低低高」「低低低」「高低低」「高高低」「高低高」の音調で日本語母語話者42人に発音してもらい録音した。これらの音声データを用いてディープラーニング技術の一つである畳み込みニューラルネットワーク技術を使い、発話音声の音調の違いを自動分類することを試みた。申請者の研究グループでは、ピッチの知覚により音調の違いを判断できると考え、音声データからメル周波数ケプストラム（人間が感じる音高を考慮した音響特徴量）を取得し、それらの特徴量を学習に用いた。さらに、録音環境の異なる音声データを学習用に統制するため、音量、音質、音声データの時間を揃えるとともに、音声認識エンジンであるJuliusを活用して最初と最後の無音時間を自動で切り取り、同時に文の前半と後半を自動で判別して「やせた女の」と「子ども」を自動で分割した。最後に、それらの加工音声データから得たメル周波数ケプストラムにより音調分類学習を実行した。学習の結果、各文においてテスト音声の分類を行ったところ、いずれも98%以上の分類精度であることが認められた。加えて、インタラクティブに音調分類を行うため、マイクから取得した音声をリアルタイムに加工して、音調分類するシステムも構築した。次の段階として、他の文での学習やアプリとの連携による学習用システムのプロトタイプ開発を進める必要がある。
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason アプリから再生されたモデル音声を聞いて、学習者が繰り返した音声を録音、再生し、F0抽出とアノテーション結果を図示する、そして、これらの図示をモデル音声と録音音声との2つに対して行うことで、音声の比較ができる、以上を目指し、Pythonによる韻律の自律学習支援プログラムを開発中である。現時点では、F0曲線をそのまま学習者に見せているが、おそ下がりが生じている音声のF0を見せた場合、音韻的な高低との不一致から学習者に誤解を与えかねない。また、このプログラムはJuliusによるアノテーション結果をそのまま表示しているため、撥音は「N」、長音は「:」、促音は「Q」など、学習者にとってわかりにくい。ひらがなで表示させるなどの工夫が必要である。
Strategy for Future Research Activity	「やせた女」は、公開するアプリにふさわしくないと考え、同じアクセントパターンの「寝ている犬の子ども」を録音した。「子ども」の部分は、すでに自動分類に成功しているので、「寝ている犬の」の部分の音調に正誤を混ぜ、45人に発音してもらった。現在、これらのデータを用い、自動分類システムの評価を行っている。今後、システムの精度を上げていく。また、平板型の句が続くもの、かかり受けで多義になるものだけでなく、多様なサンプルを録音しなくてはならない。
Causes of Carryover	発話音声の録音に予想以上の時間と労力が必要であり、そのため、データ量を稼ぐことができなかった。購入予定であったサーバの必要がなくなり、購入を次年度に持ち越した。