| 研究課題/領域番号 |
17J00285
|
|---|
| 研究機関 | 日本電信電話株式会社NTTコミュニケーション科学基礎研究所 |
|---|
研究代表者 |
石田 真子 日本電信電話株式会社NTTコミュニケーション科学基礎研究所, スポーツ脳科学プロジェクト, 特別研究員(PD)
|
|---|
| 研究期間 (年度) |
2017-04-26 – 2020-03-31
|
| キーワード | Perceptual Restoration / Phonemic Restoration / Speech Perception / Degraded Speech / 知覚的補完 / 音韻修復 / 音声知覚 / 劣化音声 |
|---|
| 研究実績の概要 |
平成30年度の研究活動では、日本学術振興会に提出済みの研究計画に沿って、英語の母語話者と第二言語習得者が、音響的に劣化した音声を、どのように理解しているのかについて考察した。特に、音韻修復（＝脳が崩れた音声を修復して理解する）に着目し、人が音響的に劣化した音声を理解する際に、何を手掛かりにしているのか、について考察した。
実験では、2つの異なる方法で、音声を音響的に劣化させた。
一つ目の実験では、音声波形全体（例：200 ms）を一定の時間区間（例：50 ms）に区切り(例：1-50, 51-100, 101-150, 151-200 ms)、その一つ一つの区間を時間軸上で反転させた「時間反転音声」（例：50-1-100-51-150-101-200-151）を作成した。二つ目の実験では、音声波形の外形（＝包絡線）を形作る「変調周波数成分」を操作することで音声を音響的に劣化させた。具体的には、音声にローパスフィルターをかけ、低い変調周波数成分のみを抽出した。視覚的に音声波形を観察すると、残存する変調周波数成分（＝音声波形の外形を作り出す成分）が少なくなるにつれて、音声振幅の時間的変化の細かい情報が失われ、包絡線が緩やかになっていった。
本研究では、2つの異なる方法で、音声を音響的に6段階で劣化させたが、2つの実験で得られた音声の明瞭度は類似していた。先行研究では、時間反転音声の時間反転区間の長さ（ms）を周波数換算（Hz）することで、音声明瞭度に関わる変調周波数成分を論じることが多いが、本研究ではそれが適切ではない可能性についても論じた。例えば、70 msごとに時間反転させた音声と4 Hz以下の変調周波数成分が残る音声の明瞭度は共通して44%であったが、70 msを単純に周波数換算すると14 Hzであり、時間区間を周波数換算しても変調周波数は算出できない結果となった。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
PD2年目では、日本学術振興会に提出済みの研究計画に沿って、英語の母語話者と第二言語習得者（母語：日本語、第二言語：英語）が、「何を手掛かり」に、音韻修復（＝脳が崩れた音声を修復して理解する）をしているのかについて研究を進めた。英語母語話者については、ニューヨーク州立大学ストーニーブルック校心理学科で実験を行った。また、第二言語習得者（母語：日本語、第二言語：英語）については、NTTコミュニケーション科学基礎研究所で実験を行った。
1つ目の実験では、音声を10 ms, 30 ms, 50 ms, 70 ms, 90 ms, or 110 msごとに時間軸上で反転させた時間反転音声（locally time-reversed speech）を作成した。実験の結果、時間反転させる区間の長さが長くなるにつれて、音声の明瞭度は低下していった。2つ目の実験では、音声にローパスフィルターをかけ、変調周波数成分が32 Hz以下、16 Hz以下、8 Hz以下、4 Hz以下、2 Hz以下、1 Hz以下の音声を作成した。実験の結果、残存する変調周波数成分が少なくなればなるほど、音声の明瞭度は低下していった。
本研究では、母語話者・第二言語習得者を対象とし、2つの異なる実験を行うことで、先行研究で行われている議論に対して、疑問を投げかけた。即ち、先行研究においては、時間反転音声の実験結果を見ながら、音声明瞭度に関わる変調周波数成分について議論されることが多かったが、本研究においては、それが必ずしも適切ではない可能性を指摘した。また、低い変調周波数成分（4-8 Hz）が音声明瞭度に関わっている可能性を示唆した。本研究の研究成果は、国際学会で発表し、ジャーナル論文に纏めた。現在までのところ、研究計画を意識しながら、優先順位をつけて研究を進めている。
|
| 今後の研究の推進方策 |
今後の研究では、英語母語話者と日本語母語話者を対象に、それぞれの第一言語で、音声聴取実験を行う。即ち、英語母語話者は、英語の時間反転音声（単語・文レベル）を、日本語母語話者は、日本語の時間反転音声（単語・文レベル）を聴取する。
先行研究では、英語母語話者とフランス語母語話者を対象に、それぞれの第一言語で、時間反転音声の音声聴取実験が行われている。即ち、フランス語母語話者はフランス語の時間反転音声を、英語母語話者は英語の時間反転音声を聴取した。その結果、時間反転音声の明瞭度は、時間反転区間が長くなるにつれて低下していった。一方で、フランス語の時間反転音声よりも英語の時間反転音声の方が、音声明瞭度が落ちやすかったことも報告されている。そして、英語とフランス語の音声明瞭度の差は、言語リズムの差に起因するのではないか、と議論されている（英語：stress-timed language, フランス語: syllable-timed language）。
本研究では、英語と日本語における時間反転音声の明瞭度を調べ、音声知覚における時間的な処理単位は、言語によって異なるのかどうか、を検証する（英語：stress-timed language, 日本語：mora-timed language）。そして、劣化音声が理解される際に、どれくらいの時間的な纏まりごとに音声が処理・修復され、知覚的に統合され、理解されているのかを検証する。
|
