2017 Fiscal Year Research-status Report
音声セグメント技術を用いた日本語発話学習支援システムの研究
| Project/Area Number |
16K00484
|
|---|
| Research Institution | University of Shizuoka |
|---|
Principal Investigator |
松浦 博 静岡県立大学, 経営情報学部, 教授 (60451085)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
澤崎 宏一 静岡県立大学, 国際関係学部, 准教授 (20363898)
秀島 雅之 東京医科歯科大学, 歯学部附属病院, 講師 (50218723)
|
|---|
| Project Period (FY) |
2016-04-01 – 2019-03-31
|
| Keywords | 発話評価 / イントネーション / アクセント / 母音の無声化 / 特殊拍 / 基本周波数 / 日本語学習 / 音声セグメント |
|---|
| Outline of Annual Research Achievements |
日本語のイントネーション等の発話評価のために、日本語学習者および日本語母語話者の発話の実態を多数のデータを用いて求める研究を進めている。モーラ毎の基本周波数F0を自動推定によって求めるシステムを構築し、これを日本語母語話者のデータに適用することによって、日本語発音教育の教科書に全面依存することなく実際の発話実態から評価基準を求める。また、自己相関関数からF0を求め、これにフレームシフト(8ms)毎に局所的な音声特徴を表現する音声セグメントラベルを連携することによって、多数のデータに対する分析を可能とした。実験データは「UME-JRF留学生による読み上げ日本語音声データベース」を用いた。日本語学習者(留学生)が男性71名、女性68名、日本人男女各20名の発話が収納されており、全体で179名分である。本年度は特に「青い屋根の家です」と「青い大きな家です」を対象に発話実態を調査したところ、お手本となるべき日本語母語話者においてはアクセントを間違うことはないものの、「青い屋根の家です」では「屋根」の前でF0の不自然な上昇を入れる誤りが30%程度あった。本来、「青い」は「屋根の」に係るのに、F0 を立ち上げると係らなくなるため、明らかに誤りである。しかし、アナウンサでも文章を読み上げたり、はっきり伝えようとして誤ることがあると言われる。一方、学習者では「屋根」の前でF0の不自然な上昇を入れる誤りは10%程度である。これは学習者はいずれの文でもアクセントの間違いが多く、また全般的に抑揚が小さい人も多いため、日本人のような誤りはかえって起こりにくいためと考えられる。発話ミスとしてよく見られたのが①『青い』が平板になる誤り、②『大きな』が平板になる誤り、③『大きな』のうち、『き』にアクセント核がある誤り、④『屋根の』が平板になる誤り、⑤『屋根』のうち『や』でアクセント核がある誤りであった。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
日本語学習者の発話の正誤判定を従来は決定木を用いていたが、新たに深層学習で推定する方法を開発し検証した。まず、発話評価のため発話単語の各モーラを代表する周波数F0の系列を決定し、それらを深層学習を用いて評価する。深層学習は入力1層、出力1層、隠れ層4層の計6層で行った。日本語学習者ではアクセント誤りが多く、日本人ではアクセント誤りはないものの、「屋根の」の前でのF0の句頭上昇が見られる場合があった。「青い屋根の」、「青い大きな」ともに発話の特徴が90～97%の正確度で深層学習を用いて推定できた。聴取した発話の特徴が基本周波数F0に現れていない場合があるが、誤推定をした多くの場合は原因となるF0系列の特徴が見られた。
データ収集解析ソフトウェアについては、解析データ保存時のパスの変更を行い、多数の評価対象とする単語や短文を処理する場合でも保存フォルダを把握しやすくすることによって、使い勝手を高めた。変更前においては「ラベル保存」では“判定プログラム選択”で判定プログラムが選択された場合は音声データが保存されているフォルダ下に、判定プログラムの名前でサブフォルダを作成し、同サブフォルダ下にラベルファイルを保存していた。そのため、サブフォルダにが深くなることがあった。変更後では、“判定プログラム選択”で判定プログラムが選択された場合は音声データが保存されているフォルダ下に、判定プログラムの名前でサブフォルダを作成する。「ラベル保存」では“判定プログラム選択”で判定プログラムが選択された場合は、名前を付けて保存を実行して作成されたサブフォルダ下にラベルファイルを保存する。併せて同サブフォルダ下に音声データをコピーする方式とした。
|
| Strategy for Future Research Activity |
今後は、イントネーション・アクセントの深層学習の精度を十分に高めるために、データを追加収集する計画を立てている。イントネーションやアクセントについてはある程度自由に発話できるので、様々なパターンを日本人話者が創作発話してデータを収集することが可能であると考えている。また、留学生10名以上について判定プログラムを用いながらの発話学習を行って、学習効果が達成されるかを検証するための実評価実験によるデータ収集を計画している。
|
| Causes of Carryover |
（理由）学会論文の掲載費用として考えている。
（使用計画）実評価実験を行うため、その費用に充当すると共に、採択後の掲載費用として使用する。
|
Research Products
(6 results)
