2019 Fiscal Year Annual Research Report
Rhythm in the brain for speech comprehension
| Project/Area Number |
19H00630
|
|---|
| Research Institution | Kyushu University |
|---|
Principal Investigator |
上田 和夫 九州大学, 芸術工学研究院, 准教授 (80254316)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
松尾 行雄 東北学院大学, 教養学部, 教授 (40323117)
Remijn GerardB. 九州大学, 芸術工学研究院, 准教授 (40467098)
中島 祥好 九州大学, 芸術工学研究院, 教授 (90127267)
平野 羊嗣 九州大学, 大学病院, 助教 (90567497)
|
|---|
| Project Period (FY) |
2019-04-01 – 2024-03-31
|
| Keywords | 時間窓 / 音声知覚 / 劣化音声 |
|---|
| Outline of Annual Research Achievements |
連続的に流れてくる音声を聴きとり，意味を理解するためには，音声の細かい時間的な変化と，大まかな変化の両方を捉えて，子音や母音を聴きとることと，文脈を理解することの両方が必要とされています。そして，脳のなかにもこれらに対応する二つのしくみが存在するとされてきました。しかし，この二つのしくみがどのように組み合わされて音声が理解されているのかは，まだよく分かっていません。本研究では，音声の時間的な変化を劣化させた音声を合成し，劣化の度合によって音声の聴き取りがどう変化するのかを調べることで謎の解明に役立てます。
本年度は20, 40, 80 ms の 3 段階の時間分解精度でモザイク化処理を行った音声を 40, 80, 120, 160, 320 ms の区間ごとに時間的順序をランダムに変動させた局部ランダマイズ・モザイク音声の明瞭度と，時間分解精度を40, 80, 120, 160, 320 ms として作成したモザイク音声の明瞭度とを比較する実験を行いました。周波数分解精度は聴覚末梢の時間分解精度に相当する 20 臨界帯域に固定しました。8 名の実験参加者で実験を行ったところ，全条件で 100% となった 40 ms の条件を除いて，常に局部ランダマイズ・モザイク音声の明瞭度がモザイク音声の明瞭度を上回ること，局部ランダマイズ・モザイク音声の時間分解精度は結果にほぼ影響を与えないことがわかりました。このことは，40 ms 程度の短い時間窓から得られる情報と，100-200 ms 程度の長い時間窓から得られる情報の両方を，ヒトはうまく利用できることを示唆します。
さらに，スペクトル全体の形を変えずに，一部の帯域だけ局部時間反転を行った音声を用いた研究，聴覚アイコンに言語背景がおよぼす影響の研究や，精神疾患患者における脳内時間処理と視覚的注意障害に関する研究なども行いました。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
(1) 局部ランダマイズ・モザイク音声を作成するための技術的な問題点を吟味した上で，作成方法を確認，確立し，局部ランダマイズ・モザイク音声の合成に成功した。
(2) 局部ランダマイズ・モザイク音声を用いて，ランダマイズ区間長およびモザイク区間長を変化させ，モザイク音声との明瞭度を比較する実験を日本語で行い，予想外に局部ランダマイズ・モザイク音声の明瞭度がモザイク音声よりも高く，また，局部ランダマイズ・モザイク音声では，モザイク区間長がほとんど明瞭度に影響しないという結果を得ることができた。
(3) 視覚呈示された数字の系列再生に課題とは無関連な音声がおよぼす妨害効果，すなわち無関連音声効果に関して，ドイツ，ダルムシュタット工科大学との国際共同研究の成果をまとめた論文が，当該分野においてもっとも権威ある国際査読誌の一つである米国音響学会誌に採録，掲載された。
(4) 音声の長時間平均スペクトルを同一に保ったまま，一部の周波数帯域のみを局部時間反転させた音声を合成した。このような音声は，すべての帯域を局部時間反転した音声と比べて常に明瞭度が高いこと，また，鳴音性と関係の深いと考えられる周波数帯域が保たれているかどうかにより，明瞭度に大きな差が生ずることを示唆する結果を得た。
(5) 精神疾患患者を対象とした a) 音声理解における脳内時間処理，および b) 視覚的注意障害に関する二つの研究を準備し，倫理審査申請，予備実験を実施できた。
|
| Strategy for Future Research Activity |
(1) 局部ランダマイズ・モザイク音声を用いた研究は非常に有望であることがわかったので，この研究方法を中国語など，他の言語にも適用し，結果の一般性を確かめる。
(2) 局部ランダマイズをUeda et al. (2017) が見いだした4 周波数帯域に適用することにより，周波数・時間平面における相互作用の有無を調べる研究に発展させる。
(3) 精神疾患患者を対象とした a) 音声理解における脳内時間処理，および b) 視覚的注意障害に関する研究を，さらに推進する。
(4) 脳科学的手法と数理科学的手法とを組み合わせた研究をさらに充実，発展させるため，理化学研究所の竹市博臣，九州大学医学部の光藤崇子を分担者に加え，脳磁図を利用した研究への発展を図る。
(5) すでに得られたデータを論文として出版することを急ぐ。
|
Research Products
(33 results)
-
-
-
-
-
[Journal Article] Neuroanatomical substrate of chronic psychosis in epilepsy: an MRI study2020
Author(s)
Hirakawa N, Kuga H, Hirano Y, Sato J, Oribe N, Nakamura I, Hirano S, Ueno T, Oda Y, Togao O, Hiwatashi A, Honda H, Kanba S, Onitsuka T.
-
Journal Title
Brain Imaging Behav.
Volume: -
Pages: -
DOI
Peer Reviewed / Open Access
-
-
-
[Journal Article] Differentiation of schizophrenia using structural MRI with consideration of scanner differences: A real‐world multisite study2019
Author(s)
Nemoto Kiyotaka、Shimokawa Tetsuya、Nemoto K, Shimokawa T, Fukunaga M, Yamashita F, Tamura M, Yamamori H, Yasuda Y, Azechi H, Kudo N, Watanabe Y, Kido M, Takahashi T, Koike S, Okada N, Hirano Y, Onitsuka T, Yamasue H, Suzuki M, Kasai K, Hashimoto R, Arai T
-
Journal Title
Psychiatry and Clinical Neurosciences
Volume: 74
Pages: 56～63
DOI
Peer Reviewed / Open Access
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
