2020 Fiscal Year Research-status Report
脳波と眼球運動を用いた音声生成と知覚の神経メカニズムに関する研究
| Project/Area Number |
20K11883
|
|---|
| Research Institution | Japan Advanced Institute of Science and Technology |
|---|
Principal Investigator |
党 建武 北陸先端科学技術大学院大学, 先端科学技術研究科, 教授 (80334796)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
赤木 正人 北陸先端科学技術大学院大学, 先端科学技術研究科, 教授 (20242571)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | 音声生成 / 発話計画 / 脳ネットワーク / 脳活動の動的特性 |
|---|
| Outline of Annual Research Achievements |
本研究では、高時間分解能のEEGを用いて、自然な文の朗読および復唱の課題における脳活動を全時間帯域で計測し、発話または聴取全体の時間経過について脳内ネットワークの機能的結合と実効的結合をモデル化し、連続音声処理の神経学的メカニズムを究明することを目的とする。
我々は眼球運動と発話との行動学的なデータと脳波（EEG）データを同時に収集し、時間・空間・周波数領域の側面から文の朗読における神経学的メカニズムを考察した。文中各単語の注視開始と発話開始までの潜時時間は段階的な減少パターンが統語的構造と一致するので、感覚運動行動に伴う統語的介入を示唆した。また、前頭前野-頭頂葉制御ネットワークと前側頭葉との間トップダウンの神経活動を確認した。脳エリア間のクロス周波数結合と周波数依存の有効結合性の考察により、前頭前野-頭頂ネットワークの支配のもとで二重通路に沿った双方向で発信するメカニズムがわかった。 そのなか、θ波―γ波の結合は腹側通路に沿ってトップダウンの統語調節とボトムアップの視覚入力を平行に調整しているが、α波―β波結合は背側通路に沿って発話の計画と運動を実施している。
語彙処理の脳のメカニズムを究明するため、実単語と疑似単語の徴収時にEEGを用いて脳ネットワークを再構築し、fMRIによるネットワークテンプレートを用いてフィルタリングしたうえ、異なる脳波帯域のネットワークの動的変化を比較した。その結果は、実単語における最初の音節が明確なカテゴリの特徴を持っている場合、音声処理ネットワークを急速に活性化し、速やかに処理を終えることを明らかにした。一方、擬似語に対して、音声処理ネットワークの起動は遅いが、そのネットの活動時間はかなり長くなることがわかった。それは疑似単語の語意がなかなか取得できないことを示唆した。また、γ波の活動は実単語の語意処理とより深い関連があることを示した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
収録した実験データの分析と研究成果の発表について順調に進んでいる。実験データの新規収録はコロナの原因で実施することが困難である。
|
| Strategy for Future Research Activity |
今まで、研究は順調に進展しているが、コロナの原因で、暫くの間EEG信号の収録は困難となる。コロナの感染防止を念頭に置いて、実験データを収録したいと努力するつもりである。当面の方策では、データの新規収録より既存のデータやオーペンリソースを利用する予定である。
|
| Causes of Carryover |
当初計画した実験はコロナの原因で一部実施できなかったため、人件費が若干余ってしまった。令和3年度、その実験を実施することによって、その差額を抹消することになる。
|
-
-
-
-
[Journal Article] Toward Efficient Processing and Learning With Spikes: New Approaches for Multispike Learning2020
Author(s)
Yu, Q., Li, S., Tang, H., Wang, L., Dang, J., & Tan, K. C.
-
Journal Title
IEEE Transactions on Cybernetics
Volume: 51
Pages: 1-13
DOI
Peer Reviewed / Open Access / Int'l Joint Research
-
-
-
-
-
-
-
-
