2023 Fiscal Year Annual Research Report
Automatic pronunciation and prosody evaluation based on longitudinal analysis of English speech produced by Japanese children
| Project/Area Number |
23H00648
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | Doshisha University |
|---|
Principal Investigator |
加藤 恒夫 同志社大学, 理工学部, 教授 (60607258)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
菅原 真理子 同志社大学, 文学部, 教授 (10411050)
山本 誠一 同志社大学, 研究開発推進機構, 嘱託研究員 (20374100)
山田 玲子 株式会社国際電気通信基礎技術研究所, インタラクション科学研究所, 主幹研究員 (30395090)
|
|---|
| Project Period (FY) |
2023-04-01 – 2028-03-31
|
| Keywords | 小中学生 / 英語音声 / 追跡的分析 / 言語的背景別分析 / 語彙強勢位置 |
|---|
| Outline of Annual Research Achievements |
本研究課題は，日本における外国語学習の初期段階にあたる小中学生向けに効果的な英語コミュニケーション訓練システムを構築するため，様々な言語的背景をもつ日本人小中学生の英語音声を継続的に収録し，追跡的な分析を行うとともに，分析結果を踏まえて英語発音・韻律自動評価訓練システムを構築することを目的としている．
2023年度は京都府内の2つの公立小学校で4年生計170名を対象に継続的な英語音声収録に着手した．初回は，英語音声収録に慣れてもらうことを第一目的として，基本的な英単語と挨拶程度の定型文をお手本音声の復唱形式で発声してもらった．復唱形式であったため，発声できない問題は生じなかった．収録した英語音声について音声認識技術を用いた強制アライメントにより母音挿入，母音置換，カタカナ発音の頻度を調査し，分析結果を2つの小学校にフィードバックした．今後，学会発表を予定している．
私立中学校で収録済みの30名の英語音声について，国内で日本語による初等教育を受けた生徒群(JP)，国内でバイリンガル初等教育を受けた生徒群(BP)，帰国子女群(EP)の3群に分類し，単母音のフォルマント分析と短文発話における韻律の分析を行った．中学校にて報告会を開催し，英語教師との意見交換も行った．今後，学会発表を予定している．
英語韻律自動評価方式として，2023年度は最新の音声認識WhisperXと強制アライナMFAを用いるパイプライン方式を検討した．日本人小学生の英語暗唱音声における語彙強勢位置について，パイプライン方式による自動評価と英語母語話者による主観評価を比較した．また，小学校での音声収録用に動的に画面表示，音声出力，録音音声の波形表示，発声単位の音声ファイル保存を行えるWebアプリケーションを開発し，オンライン発音・韻律評価訓練システムのベースを構築した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初計画どおり公立小学校で英語音声収録を開始し，2つの小学校で計画を超える計170名の4年生を対象に復唱形式で初回の収録を実施した．音声データベース整備と発音分析を行い，分析結果を小学校に報告した．2024年度も継続できる見通しが立った．一方，私立小学校での英語音声収録は再開できていないため2024年度の課題となる．
私立中学校で収録済みの英語音声について母音の発音と韻律制御を分析し，その結果を中学校に報告した．中学校の英語教師との意見交換も行い，当初計画どおり2024年度に（第2ラウンドの）中学3年生の収録を行える見通しが立った．
韻律の自動評価方式として，これまで検討してきたTransformerを用いる方式に加え，上述のパイプライン方式を用いられるようになった．また，動的に画面表示，音声出力，録音音声の波形表示，録音音声のサーバ処理を行える音声収録Webアプリケーションを開発したことで，今後のオンライン発音韻律評価訓練システムのベースができた．
|
| Strategy for Future Research Activity |
小中学校では計画通りに英語音声収録を継続する．2024年度，公立小学校では計170名の5年生を対象に．私立中学校では計80名の3年生を対象にそれぞれ収録を行う．同時に，公立小学校の児童の大半が卒業後に入学する公立中学校，私立中学校の生徒の大半が進学する私立高校に対してそれぞれ英語音声収録への協力を依頼する．私立小学校では収録再開に向け，調整を進める．
英語発音・韻律自動評価訓練方式についてこれまでは評価に留まっていたが，訓練の実現に向けて発音・韻律のどこが不適切であったかを特定し，学習者に対して修正フィードバックを行う方式に発展させる．さらに，音声収録Webアプリケーションのサーバ処理に同方式を結合して，インタラクティブな発音・韻律訓練システムへと発展させる計画である．
|
