2023 Fiscal Year Research-status Report
Error Detection of Utterances for Non-native Speakers Using Deep Anomaly Detection Technology
| Project/Area Number |
23K11238
|
|---|
| Research Institution | Aichi University of Technology |
|---|
Principal Investigator |
實廣 貴敏 愛知工科大学, 工学部, 教授 (60394996)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
北岡 教英 豊橋技術科学大学, 工学(系)研究科(研究院), 教授 (10333501)
|
|---|
| Project Period (FY) |
2023-04-01 – 2026-03-31
|
| Keywords | 非母国語話者 / 発話誤り検出 / 深層学習 / 異常検知 / 基本周波数 / 畳込みAutoencoder / LSTM / 発話評価 |
|---|
| Outline of Annual Research Achievements |
日本語を学習する外国人は依然として増加傾向にある．非母国語話者による日本語学習に役立てられるよう，発話誤り検出において，最新技術を活用した手法を確立する．近年のDeep Neural Network技術の進展を取り込んだ方法を検討していく．
2023年度の實廣研では，深層異常検知の考え方を応用したもので，母国語話者の発話のみで学習したモデルを用い，評価する際に，音声特徴量上で母国語話者との差が大きいときには発話誤りとして検出する．モデルとして，ニューラルネットワークの一種であるAutoencoderを用いる．Autoencoderは入出力が等しくなるよう学習するもので，学習したものと性質が同じものであれば，出力で近いものが得られるが，性質が異なるものが入力されると，大きく違うものが出力され，入出力差が大きくなる．この性質を利用する．さらに，畳み込み層を導入した畳み込みAutoencoder，また，LSTMを導入した手法の検討を行った．また，音響特徴量として，周波数特性の特徴であるMFCCとその微分係数，さらに，基本周波数とその微分係数を用いる．この際，MFCCと基本周波数は影響する範囲が異なるため，考慮する前後のフレーム数をそれぞれの特徴量で最適化した上で組み合わせて利用する手法を提案した．実験結果から，畳み込みAutoencoderの精度が高いことが示された．
北岡研では，発声された音声データからその日本語の発音の良さ，読みの間違い，発話全体の3種類のスコアを推論する深層ネットワーク，LSTMやBiLSTMを構築した．日本語学校教師より前述の3つの観点から1～5までスコア付けしたデータベースを作成した．本モデルにより推論したスコアの平均二乗誤差（MSE）やピアソン相関係数（PCC）で評価した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
研究成果として，いくつかの提案方法の検討が進められ，結果も出てきた．2024年2月初めに日本音響学会の論文特集号「音声の多様性とその応用」へ投稿したが，5月に掲載不適当との判定が連絡された．2名の査読者からは多くの事項を指摘されていたが，主な原因は従来手法との比較がないことであった．懸念事項ではあったが，提案手法が従来型のものとは大きく異なるため，どのように比較すべきか難しいところである．また，何を代表的な手法とするかも，難しそうである．従来方法を検討することの方が時間がかかりそうであるが，何か，適切な検討ができないかどうか，検討する予定である．
また，非母国語話者の日本語発話音声データベース構築については，提案方法の検討に時間がかかり，音声収録はまだそれほど進められていない．2023年度末に大学が春休みであることを利用し，研究室内の中国人2名でテストも兼ねて，収録や音声データベース化を行った．1名は日本語発話にまだ慣れておらず，文章の読み上げもままならないことも多かった．読み間違えも含めた発話誤りの検出検討も必要であることが分かった．音声収録については，これから本格的に進めていく予定である．
|
| Strategy for Future Research Activity |
異常検知技術を用いた手法による検討においては，比較する意味がありそうな従来手法の選定とその検証を実施し，提案手法との違いを明らかにしていく．また，手法として，さらに高度な方法，例えば，AttentionやTransformerを取り入れたものを検討していく．北岡研での発話評価の検討においても，より高度な深層学習手法を利用していく予定である．
音声収録については，2024年度から本格的に進めていく予定である．愛知工科大学では，自動車短期大学も併設しており，留学生も増え，収集しやすい．人種は東南アジア系に偏るが，それも現在の日本に集まる留学生の傾向ではあるので，彼らの日本語音声を収集し，今後どのような検討ができるか，検討していきたい．
|
| Causes of Carryover |
タイミングにより，實廣研から学会発表を行うことができず，出張や参加費などが発生しなかった．また，音声収録とその後の作業を次年度にずらしたため，その分の費用も少なく済んだ．次年度では，学会発表や音声収録・作業を増やしていく予定である．
|
