2022 Fiscal Year Research-status Report
Development of a tone adjustment self-study app with evaluation, including all the functions of Japanese intonation and elucidating their relationship
| Project/Area Number |
19K00743
|
|---|
| Research Institution | Kumamoto Health Science University |
|---|
Principal Investigator |
馬場 良二 熊本保健科学大学, 保健科学部, 研究員 (30218672)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
飯村 伊智郎 熊本県立大学, 総合管理学部, 教授 (50347697)
森山 賀文 熊本県立大学, 総合管理学部, 教授 (10413866)
石橋 賢 熊本県立大学, 総合管理学部, 准教授 (70749118)
|
|---|
| Project Period (FY) |
2019-04-01 – 2024-03-31
|
| Keywords | 音調機能の網羅 / 音調独習アプリ / AIによる発音評価 / 日本語学習者 / 楽に楽しく学べるシステムの開発 / 統計解析 / 進化計算 / 快適な言語コミュニケーション力の獲得 |
|---|
| Outline of Annual Research Achievements |
本研究は、日本語学習者が、語、句、発話における音調全般を身に付けられるようになるアプリを開発することが目的です。そのために、日本語の音調に①語彙、②語彙（オノマトペ）、③文の区切り、④文の区切り（係り受け）、⑤文の区切り（プロミネンス）の分類を設けました。
2020年度は、④として「寝ている犬の子ども」、2021年度は②「フラフラだ」と「フラフラする」、⑤「山でそばを食べました」をとりあげました。④は、音調によって、寝ているのが「犬」なのか「犬の子ども」なのかが言い分けられ、②は品詞によって語アクセントが変わり、⑤は「どこで食べたか」「何を食べたか」「山でそばをどうしたか」といった質問に答える際に、プロミネンス、発話音調が変わります。
④、②、⑤ともに、日本語話者42名分の音声採取が完了し、分析、推論モデルをPCに投入することができました。2022年度は、アプリをくみ上げました。スマホに搭載したアプリが録音音声を再生し、それを聞いて学習者が繰り返し、スマホでその音声を録音、録音した学習者の音声をhttps通信でサーバーに送信、サーバーにある推論モデルで分析、その結果をスマホ側に送信、表示します。その表示を参考に、学習者が発話練習を繰り返すシステムです。日本語学習者、および、日本語教師を対象に試用して、アンケートに答えてもらいました。
アンケートの結果は、概ね、良好。学習者は、使いやすいし、イントネーションの上達に役立ったという回答が80%を超えました。教師からは、スマホで手軽に練習できる点が評価されましたが、AIによる評価判断が不安定だと指摘されました。
スマホ側アプリとサーバー側推論モデルを同一のPC上に構築してあります。開発環境は、スマホアプリ側がUnity、言語C#、サーバー側はdockerで仮想環境を構築、言語はpython Flaskです。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
研究申請時は、音調機能の網羅を謳っていましたが、実際のアプリには、五つ設けた機能のうちの三つしか搭載できませんでした。AIに学習者の音声を評価させるためには、一定量のデータが必要で、そのための日本語話者の音声収拾が容易でなかったことが原因です。網羅できていないので、「遅れている」にすべきかもしれませんが、母語話者音声の収集の困難を思い、「おおむね順調」としました。
|
| Strategy for Future Research Activity |
アプリ使用者の発音をAIが聞き取り、評価するのですが、その評価が安定しません。AIに読み込ませた母語話者のデータが少ないのか、学習者が音声をスマホで録音する際のノイズが影響しているのか、原因を明らかにしなくてはなりません。
後者について、録音スタジオと静かな教室とでAIによる評価の精度をくらべようと考えています。
それから、AIに学習させる音声を日本語教師3名が精査しました。すると、3名の間で音声への評価が割れることがありました。同じ音声なのにタキの位置の知覚が3名で異なるのです。タキの位置の知覚に個人差があるということになります。この差は、どこにあるのか、調査、研究をすすめます。
現在、コンピュータは、日本語音声のタキの位置を聞き取っていません。日本語母語話者の聞き取りの機構が分かれば、コンピュータも聞き取ることができるようになるでしょう。
|
| Causes of Carryover |
コロナの影響で、出張ができず、予算が消化しきれなかった。
2023年度は、学会等に積極的に参加したい。
|
