2021 Fiscal Year Research-status Report
Development of a tone adjustment self-study app with evaluation, including all the functions of Japanese intonation and elucidating their relationship
| Project/Area Number |
19K00743
|
|---|
| Research Institution | Kumamoto Health Science University |
|---|
Principal Investigator |
馬場 良二 熊本保健科学大学, 保健科学部, 研究員 (30218672)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
飯村 伊智郎 熊本県立大学, 総合管理学部, 教授 (50347697)
森山 賀文 熊本県立大学, 総合管理学部, 教授 (10413866)
石橋 賢 熊本県立大学, 総合管理学部, 准教授 (70749118)
|
|---|
| Project Period (FY) |
2019-04-01 – 2023-03-31
|
| Keywords | 音調機能の網羅 / 音調独習アプリ / AIによる発音評価 / 日本語学習者 / 楽しく楽に学べるシステムの開発 / 統計解析 / 進化計算 / 快適な言語コミュニケーション 力の獲得 |
|---|
| Outline of Annual Research Achievements |
本研究は、語、句、発話における音調全般を日本語学習者が身に付けられるアプリを開発することが目的です。そのために、日本語の音調に①語彙、②語彙（オノマトペ）、③文の区切り、④文の区切り（係り受け）、⑤文の区切り（プロミネンス）の分類を設けました。
2020年度は、④として「寝ている犬の子ども」、2021年度は②「フラフラだ」と「フラフラする」、⑤「山でそばを食べました」をとりあげました。④は、音調によって、寝ているのが「犬」なのか「犬の子ども」なのかが言い分けられ、②は品詞によって語アクセントが変わり、⑤は「どこで食べたか」「何を食べたか」「山でそばをどうしたか」といった質問に答える際に、プロミネンス、発話音調が変わります。
④と②は、日本語話者42名分の音声採取が完了し、分析、推論モデルをPCに投入することができました。⑤は、採取が完了した段階で、推論モデル構築中です。
スマホに搭載したアプリが音声を再生し、それを聞いて学習者が繰り返し、スマホでその音声を録音、音声をhttps通信でサーバーに送信、サーバーにある推論モデルで分析、その結果をスマホ側に送信、表示します。その表示を参考に、学習者が発話練習を繰り返すシステムです。スマホ側アプリとサーバー側推論モデルを同一のPC上に構築し、動作を確認できました。
開発環境は、スマホアプリ側がUnity、言語C#、サーバー側はdockerで仮想環境を構築、言語がpython Flaskです。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
申請の段階では、多くの語、発話による中程度の規模のアプリを想定していました。ですが、AIに学習させる日本語話者の音声の採取に予想以上の労力と時間が必要なことが分かりました。まとまった量の練習ができるだけの課題を作成するためには、まとまった量のAI学習用の音声が必要で、そのためには、多分、一つ会社を設立しなくてはならないでしょう。
そこで、発想を転換し、課題を「研究実績の概要」にある三つプラス一つに絞り、お試し的なアプリを作成することにしました。
一番のネックの音声採取ですが、代表の馬場の勤務先から全面的な協力を得ることができ、四つ目の採取の目途がたちました。
|
| Strategy for Future Research Activity |
「研究実績の概要」にある「①語彙」として、「橋、箸、端」をとりあげ、「ハシダ」の音声録音を実施します。「ハシデス」ではなく、ターゲット部分以外の情報量の少ない「ハシダ」を採用しました。また、「雨、飴」も考えられますが、音調によって語意の変わる語が二つでなく三つの語として、「橋、箸、端」にしました。
正用、誤用の音調8種類、HHH、LLL、LHH、LLH、LHL、HHL、HLL、HLHで発話してもらい、録音、データベース化して、AIに学習させます。
これまでの研究で、語句、発話により、AIの判定能力に差が出ました。正答率の低い音声群の特徴を探求、解析することにより、AIの判定基準、ブラックボックスの中が見えてくるのではないかと期待しています。
アプリ作成、音調理論の構築という研究目的以外の基礎科学的テーマが見つかりました。
|
| Causes of Carryover |
音声録音に協力してくれる日本語話者が予定した人数集まらなかったこと、および、新型コロナの影響で出張ができなかったことにより今年度分の助成金が残りました。
出張できるようになったら、積極的に出向きます。場合によっては、研究期間の延長を考えます。
|
