2018 Fiscal Year Annual Research Report
脳波デコーディングを用いた階層的コミュニケーションの構成的検証と制御
Publicly Offered Research
| Project Area | Studies of Language Evolution for Co-creative Human Communication |
|---|
| Project/Area Number |
18H05087
|
|---|
| Research Institution | Kyoto Sangyo University |
|---|
Principal Investigator |
奥田 次郎 京都産業大学, 情報理工学部, 教授 (80384725)
|
|---|
| Project Period (FY) |
2018-04-01 – 2020-03-31
|
| Keywords | 実験記号論 / 接地 / 脱接地 / ミラーシステム / 脳波 / 状態弁別 |
|---|
| Outline of Annual Research Achievements |
本公募研究は、ヒトがコミュニケーションのための記号システムを構築し利用する過程で働く脳システムのモデルを構成し、脳波デコーディングに基づく脳状態自己訓練をモデル検証に応用する新しい手法の開拓を目指す。これにより、記号コミュニケーションシステムの共創過程で働く脳情報モデルを、構成論的・操作的な手法を用いて検証することを試みる。
研究の全体計画の中で初年度は、脳モデルの基礎的な構成要素の検討と行動実験課題の開発、および脳波計測実験を行った。特に、コミュニケーションのための記号システム（記号‐意味対応）における、記号と意味の「接地」（記号に意味を対応付ける処理）と「脱接地」（記号から意味を一旦切り離す処理）の過程を検討する実験課題を設計し、実施した。色の記号情報に身体動作の意味情報を対応付けた後、色を徐々に変化させて意味の変化（脱接地と接地）を生じさせる実験課題を実施し、課題中の被験者の脳波応答を明らかにした。これまでの研究で、新規な記号と身体意味の接地の過程に、行動観察と行動実行の両方で同じ活動を示す脳内のミラーシステムが関与することが示唆されていた。今回の結果では、色が変化して対応する意味が思い浮かばなくなる過程においても、ミラーシステムの脳波指標と考えられているμ波パワー抑制が見られ、ミラーシステムが意味の脱接地にも役割を果たす可能性が初めて示唆された。
上記の分析と並行して、課題中の脳波周波数パワー情報から記号や意味の内容を弁別するデコーディングが可能か検討を行った。色と意味を対応付ける課題中の脳波データを用いた色や意味の弁別は可能であったため、色変化中の意味の変化を弁別する解析へと進めている。
また、個々の記号と意味の対応に関するこれら基礎的な検討に加えて、記号列の階層構造の捉え方に依存した意図伝達の特徴を実験的に検討する実験系の考案と理論考察を行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
記号と意味の対応付けを一旦切り離す過程での脳波μ波パワー抑制を初めて明らかにし、記号と意味の接地の過程だけでなく、脱接地の過程にも脳内のミラーシステムの活動が関与する可能性を示唆する知見を得た。
単一記号と意味の新規な対応付けという実験記号論の基礎的な過程に関する上記の検討に加え、記号系列に階層構造を含む実験記号論の課題拡張を考案し、理論分析により実験デザインを整理することが出来た。これにより、本研究領域の中心的問いである、言語記号の階層構造が意図共有や意図伝達にどのように関わるかという問題について、実験記号論課題を用いて検討を行う手法の開拓を進めた。
記号－意味対応付け課題中の脳波計測データから、未学習データに対しても汎化性能を有する記号・意味状態弁別モデルを作成することができた。脳状態弁別モデルを用いた記号の意味推定が可能かの評価を引き続き行い、脳状態訓練実験へと繋げる必要がある。
|
| Strategy for Future Research Activity |
初年度の実施項目では、実験記号論のアプローチを援用しながら、記号と意味の対応関係を処理する脳の基礎的な反応を検討した。これに加えてさらに、要素的な脳過程に対応する脳活動状態を弁別するための脳波状態デコーディングについても基礎的な検討を行った。色と意味の対応付けの実験では、脳波周波数パワーの電極間空間パターンの分布から、異なる身体動作の単語視認状態の分類を行う機械学習デコーダを構築しており、これらデコーダを用いて、色変化中に被験者がイメージした意味を連続的に弁別する検討へと繋げる。また、このような状態弁別を、階層構造を有する記号列を用いた実験時の脳波データにも適用し、脳波状態を自律訓練させた場合の記号列の階層構造の使い方の変化などについての検討を試みる。
|
