2022 Fiscal Year Research-status Report
| Project/Area Number |
22K12758
|
|---|
| Research Institution | National Institute of Information and Communications Technology |
|---|
Principal Investigator |
井原 綾 国立研究開発法人情報通信研究機構, 未来ICT研究所脳情報通信融合研究センター, 主任研究員 (30390694)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Keywords | 言語理解 / 脳波 / 文脈 / 自然発話 / 音声 / 意味処理 / 脳機能 |
|---|
| Outline of Annual Research Achievements |
日常、我々が耳にすることばは不完全な情報であることも多いが、迅速かつ柔軟にことばを理解することができる。脳がそれを実現しているのは、音響的特徴の抽出から言語情報への変換、意味表象の活性化、文構造の解析といった一連のボトムアップ処理に加えて、文脈や非言語的な情報の状況など様々な情報を利用して内容を解釈するといったトップダウン処理が働いているからである。これまで、言語の文脈処理に関する研究は、言語刺激を単語など短い単位で離散的に呈示するパラダイムが用いられており、話の進行とともに文脈が形成され、理解が進むときの脳活動を経時的に捉えた研究はない。本研究では、１）連続的な言語情報（発話）を聴いて文脈を形成し理解するときの脳活動の経時的変化を明らかにすること、２）文脈理解を反映する脳波指標を用いて、個人の脳波から文脈理解を推定可能な機械学習モデルを構築することを目的とした。初年度は、１）の目的を達成するため、日本語母語話者がニュース音声を聞いているときに取得した脳波の解析を行った。ニュース音声から内容語開始の時間情報を抽出し、内容語に対する脳波の時間応答関数を算出した。各ニュースは序盤、中盤、終盤に３分割し、内容語の位置によって、時間応答関数が変化するかを調べた。その結果、時間応答関数のピークが約400msの陰性成分（N400相当）の振幅では、統計的に有意な単語位置の主効果が認められ、序盤から終盤になるにつれて、振幅が減少する傾向が見られた。発話の理解において、文脈情報が使用される過程を脳波指標によって可視化できる可能性を示唆する。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
発話音声を聞いている時の脳波の解析はおおむね順調に進んでおり、話の開始から終盤にかけて有意に変化する脳波応答を抽出できている。
|
| Strategy for Future Research Activity |
脳波の解析対象を広げ、文脈利用を反映する複数の指標を抽出し、発話理解時の脳活動の経時的変化の可視化を行う。また、抽出した指標を用いて、個人の脳波から文脈理解を推定する機械学習モデルの構築を行う。
|
| Causes of Carryover |
既存の装置、ソフトウェアを使用したため物品の購入がなく、成果発表のための出張をしなかったため。
脳波の解析対象を広げるため、音声のアノテーションの作業委託に使用する計画である。
|
