| Project/Area Number |
20K11883
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61010:Perceptual information processing-related
|
|---|
| Research Institution | Japan Advanced Institute of Science and Technology |
|---|
Principal Investigator |
Dang Jianwu 北陸先端科学技術大学院大学, 先端科学技術研究科, 名誉教授 (80334796)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
赤木 正人 北陸先端科学技術大学院大学, 先端科学技術研究科, 名誉教授 (20242571)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Project Status |
Completed (Fiscal Year 2022)
|
| Budget Amount *help |
¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000)
Fiscal Year 2022: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2021: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2020: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
|
|---|
| Keywords | 音声生成 / 音声知覚 / 神経学メカニズム / 脳ネットワーク / 音声処理の神経学的モデル / 音声理解 / 脳活動の動的特性 / 音声生成の神経学的モデル / 発話計画 |
|---|
| Outline of Research at the Start |
①文章朗読時の眼球運動と脳波を同時記録し、また連続音声の復唱際に聴取と発話の脳波を記録して、連続音声処理に関する脳波データベースを構築する。
②眼球運動と発話タイミングの行動学的指標を利用して、連続発話における語彙理解、発話計画および聴覚処理に関わる脳活動区間を同定し、ネットワークの時間系列を用いて脳活動の動的特性を分析する。
③種々の脳波帯域における神経振動帯域の分析を通して、音声処理二重経路と韻律処理二重経路における脳内ネットワークの実効的結合を明らかにする。
④復唱時の聴取過程における脳活動と発話段階の脳活動との対比により、音声生成と知覚を結ぶ“ことばの鎖”の実態を明らかにする。
|
| Outline of Final Research Achievements |
In this study, we used EEG, eye movement, and speech signals to explore the dynamic characteristics of brain networks during reading and listening to sentences. As a result, we identified top-down processes in several higher cognitive and language areas, including the prefrontal, frontal, and inferior frontal lobes. Higher cognitive and verbal networks were detected with early activation, frequent interactions with the lower visuomotor system, parallel and repetitive interactions in alignment with sentence structure. The brain network activity is clearly different between comprehending continuous speech and listening to nonsensical sentences. It is also possible to analyze brain activity in detail using the non-linearity of deep learning methods. Based on those results, we constructed a neural model of speech production and understanding.
|
| Academic Significance and Societal Importance of the Research Achievements |
当面人工知能は知覚知能から認知知能へ発展する段階になっており、音声理解や認知に関する神経学メカニズムの究明はその重要な一環である。本研究はEEGを用いて自然音声の発話と知覚における脳活動を全時間帯域で計測し、連続音声の発話計画、聴覚処理および語彙理解などの複数の脳活動について時間、周波数及び空間上で分析して、これまでにない知見を得た上、従来の二重経路モデルや階層モデルなど音声処理神経モデルに比べ、より精密なモデルを構築した。本研究は、音声理解や認知の側面から人工知能のさらなる発展に大きな貢献があり、言語障害の神経学的な評価やリハビリなどの研究分野へも貢献をもたらすことが期待できる。
|
