2019 Fiscal Year Annual Research Report
Communication between brains by synchronization of neural oscillations
| Project/Area Number |
18H03502
|
|---|
| Research Institution | Kyoto University |
|---|
Principal Investigator |
水原 啓暁 京都大学, 情報学研究科, 講師 (30392137)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
佐藤 直行 公立はこだて未来大学, システム情報科学部, 教授 (70312668)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | コミュニケーション / 脳波 / シンクロ / 音声知覚 / 自然言語処理 |
|---|
| Outline of Annual Research Achievements |
本提案では，ヒトとヒトのコミュニケーションは、コミュニケーションを行う二者の脳の神経活動の振動（神経リズム）がシンクロすることによって実現される，という仮説を検証する．この目的のために，コミュニケーション課題を遂行中の被験者からの脳波計測を実施するとともに，神経リズムのシンクロを非侵襲的に操作することで，コミュニケーションの量的および質的変化が起こるかを調べる．本研究提案の成果は，円滑なコミュニケーションを実現するための技術開発につながる．
令和元年においては，以下の2つの研究項目のうち、「コミュニケーション時の脳波と音声のシンクロ」について重点的に研究を遂行するとともに、「非侵襲脳刺激による神経リズム協調の操作」についても、その非侵襲脳刺激の方法について検討した．
(1) コミュニケーション時の脳波と音声のシンクロ
(2) 非侵襲脳刺激による神経リズム協調の操作
「コミュニケーション時の脳波と音声のシンクロ」については，ナレーションを聴取中の20名の実験参加者を対象とした脳波計測実験を完了した．この実験では，短編小説のナレーションを聴取後に，どのような内容であったかを自由想起により被験者に回答してもらう課題である．自由想起した内容とオリジナルの小説文章との意味的な一致度を定量的に評価するために，自然言語処理技術を用いてそれぞれの文章を意味ベクトルに分解する．この意味ベクトルの一致度合いに基づき，被験者がどの程度ナレーション文章の聴取に成功していたかの成績評価を行う方法を開発した．特に今年度においては，自然言語処理技術による評価性能が最大となるパラメータ探索を実施した．また，「非侵襲脳刺激による神経リズム協調の操作」については，現在，経頭蓋電気刺激の利用可能性について検討を開始したところである．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本提案研究においては，脳間の神経活動のシンクロがヒトとヒトとのコミュニケーションを実現しているとの仮説のもと，この仮説検証を行うとともに，ヒト脳刺激によりコミュニケーションを操作することを計画している．
コミュニケーションにおける脳間のシンクロについては，コミュニケーションにおける音声に含まれるリズムと脳波がシンクロする現象に着目して，このシンクロが音声コミュニケーションを促進していることを検証する．この検証のために，令和元年度は短編小説のナレーション音声を聴取中の20名の被験者の脳波計測実験を完了した．ナレーション聴取実験後に被験者はナレーションの内容をできるだけ詳細に自由想起することを要求されており，自由想起文章とナレーションのオリジナル文章との意味的な一致度を評価することで，ナレーションをどれだけ理解できたかを検証する．このために自然言語処理技術を用いてナレーションのオリジナル文章と被験者による自由想起文章を意味ベクトルに分解して，この意味ベクトル間の一致度を定量的に評価する．この自然言語処理の実装を完了するとともに，今回の研究目的に最適な自然言語処理のパラメータ探索を完了しており，本研究課題の中核をなす技術開発が完了した．
またヒト脳刺激によるコミュニケーションの操作においては，経頭蓋電気刺激を用いることを現段階では計画している．最近の報告により経頭蓋交流電気刺激(tACS)により記憶成績の向上などが報告されており，コミュニケーションに関連する課題遂行時のtACSにより音声コミュニケーションが促進することが考えられる．そこで，コミュニケーションを変容させる方法としてtACSに着目して，その実装方法の詳細な検討を開始している．
以上のことから，おおむね当初の予定通り計画が進んでいると評価できる．
|
| Strategy for Future Research Activity |
本提案研究では，脳間のコミュニケーションにおいては遅い周波数の神経リズムがコミュニケーションを促進しているものと考え，この脳波を操作した際のコミュニケーションの促進・抑制を検証する．具体的には，以下の項目について研究を継続する．
(1) コミュニケーション時の脳波と音声のシンクロ
(2) 非侵襲脳刺激による神経リズム協調の操作
「コミュニケーション時の脳波と音声のシンクロ」については，音声コミュニケーション中の脳波計測を実施することで，音声に含まれる複数のリズム(韻律やシラブル)帯域での神経リズムと音声との協調により音声コミュニケーションが促進していることを検証する(担当：水原)．Word2Vecと呼ばれる自然言語処理のニューラルネットワークモデルを用いて，自由想起文の単語意味をベクトル表現することで音声コミュニケーションの理解度を定量化する手法の開発(担当：佐藤)を完了しており，本年度においては理解度と相関する脳活動を同定する．このことにより，理解度が促進/抑制した際の二者の脳波の神経リズム協調が増大/減少する周波数帯域を探索する．
「非侵襲脳刺激による神経リズム協調の操作」については，経頭蓋電気刺激により神経リズムを操作した際のコミュニケーションの変調について検証する．経頭蓋電気刺激については，上記の課題で同定する理解度が促進する際に観察される脳波周波数・部位を対象として，適用することを計画している．また，コミュニケーションが変容することを定量的に検証する手法としては，自然言語処理技術を用いた音声コミュニケーションの理解度を定量的に評価する手法を応用することを計画している．また，音声コミュニケーション課題の実施可能性以外にも，昨年度までに構築したコミュニケーションの基礎課程である自他分離課題を用いた際の成績評価を行うことについても検討している．
|
Research Products
(4 results)
