| 研究課題/領域番号 |
20K11883
|
|---|
| 研究種目 |
基盤研究(C)
|
| 配分区分 | 基金 |
|---|
| 応募区分 | 一般 |
|---|
| 審査区分 |
小区分61010:知覚情報処理関連
|
|---|
| 研究機関 | 北陸先端科学技術大学院大学 |
|---|
研究代表者 |
党 建武 北陸先端科学技術大学院大学, 先端科学技術研究科, 名誉教授 (80334796)
|
|---|
| 研究分担者 |
赤木 正人 北陸先端科学技術大学院大学, 先端科学技術研究科, 名誉教授 (20242571)
|
|---|
| 研究期間 (年度) |
2020-04-01 – 2023-03-31
|
| 研究課題ステータス |
完了 (2022年度)
|
| 配分額 *注記 |
4,420千円 (直接経費: 3,400千円、間接経費: 1,020千円)
2022年度: 1,300千円 (直接経費: 1,000千円、間接経費: 300千円)
2021年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円)
2020年度: 1,690千円 (直接経費: 1,300千円、間接経費: 390千円)
|
|---|
| キーワード | 音声生成 / 音声知覚 / 神経学メカニズム / 脳ネットワーク / 音声処理の神経学的モデル / 音声理解 / 脳活動の動的特性 / 音声生成の神経学的モデル / 発話計画 |
|---|
| 研究開始時の研究の概要 |
①文章朗読時の眼球運動と脳波を同時記録し、また連続音声の復唱際に聴取と発話の脳波を記録して、連続音声処理に関する脳波データベースを構築する。
②眼球運動と発話タイミングの行動学的指標を利用して、連続発話における語彙理解、発話計画および聴覚処理に関わる脳活動区間を同定し、ネットワークの時間系列を用いて脳活動の動的特性を分析する。
③種々の脳波帯域における神経振動帯域の分析を通して、音声処理二重経路と韻律処理二重経路における脳内ネットワークの実効的結合を明らかにする。
④復唱時の聴取過程における脳活動と発話段階の脳活動との対比により、音声生成と知覚を結ぶ“ことばの鎖”の実態を明らかにする。
|
| 研究成果の概要 |
本研究では、EEG、眼球運動および音声信号を用い、文の朗読と聴取時の脳ネットワークの動的特性を探った。 その結果、前頭前野、前頭葉、及び下前頭葉を含むいくつかの高次認知と言語野におけるトップダウンのプロセスを確認した。 高度な認知および言語ネットワークは、早期活性化し、下位の視覚運動システムとの頻繁な相互作用で検出され、文構造と同調されて並行および反復的な相互作用が見られた。連続音声の理解と無意味文の聴取では、脳ネットワークの活動は明らかに異なっている。また、深層学習方法の非線形性を利用して脳の活動を細かく分析することが可能である。それらの結果を基に音声生成と理解の神経モデルを構築した。
|
| 研究成果の学術的意義や社会的意義 |
当面人工知能は知覚知能から認知知能へ発展する段階になっており、音声理解や認知に関する神経学メカニズムの究明はその重要な一環である。本研究はEEGを用いて自然音声の発話と知覚における脳活動を全時間帯域で計測し、連続音声の発話計画、聴覚処理および語彙理解などの複数の脳活動について時間、周波数及び空間上で分析して、これまでにない知見を得た上、従来の二重経路モデルや階層モデルなど音声処理神経モデルに比べ、より精密なモデルを構築した。本研究は、音声理解や認知の側面から人工知能のさらなる発展に大きな貢献があり、言語障害の神経学的な評価やリハビリなどの研究分野へも貢献をもたらすことが期待できる。
|
