2018 Fiscal Year Annual Research Report
Comparing the comprehensiveness of English speech with the degree of Japanese accent using synthesized Japanese-English bilingual speech
| Project/Area Number |
15H02729
|
|---|
| Research Institution | Waseda University |
|---|
Principal Investigator |
近藤 眞理子 早稲田大学, 国際学術院, 教授 (00329054)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
山岸 順一 国立情報学研究所, コンテンツ科学研究系, 准教授 (70709352)
|
|---|
| Project Period (FY) |
2015-04-01 – 2019-03-31
|
| Keywords | 第二言語音声習得 / バイリンガル音声 / 合成音 / 外国語訛度 / 知覚 |
|---|
| Outline of Annual Research Achievements |
本年度は、これまでの第二言語音声習得とその評価の研究を踏まえ、deep-learning-based speech synthesisを使い、実際に外国語訛の強さの度合いを制御した多言語音声合成を使い、アメリカ英語訛の度合いを制御した日本語音声を合成したものを使って、知覚実験を行った。日本語と英語のバイリンガル話者一人が、双方の言語の訛のない日本語と英語を発話したものを使い、DBLSTM-baseの音響モデルを訓練した。このバイリンガル話者の録音音声を使い、分節音の長さやピッチ曲線を測定し、それを基に自然な韻律の合成発話を生成し、自然音声と合成音声の特性を併せ持った音声を生成した。
本実験では、日本語と英語の分節音で調音が明らかに異なるもの、つまり異音の音質が異なるもの、かつ、英語母語話者の日本語学習者の発話エラー分析から、発音の間違いが多いと報告されている子音を抽出し、日英バイリンガル一人の話者の発話音声をもとに、分節音を置き換えた。分節音は、ラ行の子音(J歯茎弾き音→E後部歯茎接近音)、「シ」の子音(J無声歯茎硬口蓋摩擦音→E後部歯茎摩擦音)、ザ行子音(J歯茎破擦音→E歯茎摩擦音)、「ジ」の子音(J有声歯茎硬口蓋破擦音→E硬口蓋歯茎破擦音)を用いた。
合成音した日本語音声を、クラウドソースを使い131人の日本語話者が、分節音の正確さ(5段階のリッカート尺度)と英語訛の度合い(7段階のリッカート尺度)を判定した。日本語の発話の刺激音は77%が外国語訛がないと判断された。音素に関しては、/r/の音質が外国語訛の判断に与える影響が非常に大きく、接近音の度合いが23%を超えると「アメリカ人の発話」と判断される割合が圧倒的に高かった。つまり、日本語話者は、自分たちが英語の分節音の発音で苦手とされる音素の発音に気づいていて、音質の違いに敏感に反応していることが分かった。
|
| Research Progress Status |
平成30年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
平成30年度が最終年度であるため、記入しない。
|
Research Products
(19 results)
-
-
-
-
-
[Journal Article] Cyborg Speech: Deep multilingual speech synthesis for generating segmental foreign accent with natural prosody2018
Author(s)
Henter, Gustav. Eje., Lorenzo-Trueba, Jaime, Wang, Xin, Kondo, Mariko, and Yamagishi, Junichi
-
Journal Title
Proceedings of IEEE International Conference on Acoustics, Speech and Signal Processing
Volume: 1
Pages: 4011
Peer Reviewed / Open Access / Int'l Joint Research
-
-
-
-
-
-
-
[Presentation] Cyborg Speech: Deep multilingual speech synthesis for generating segmental foreign accent with natural prosody2018
Author(s)
Henter, Gustav. Eje., Lorenzo-Trueba, Jaime, Wang, Xin, Kondo, Mariko, and Yamagishi, Junichi
Organizer
International Conference on Acoustics, Speech and Signal Processing
Int'l Joint Research
-
-
-
-
-
-
-
