| 研究課題/領域番号 |
20J22906
|
|---|
| 研究機関 | 東京大学 |
|---|
研究代表者 |
佐藤 元重 東京大学, 薬学系研究科, 特別研究員(DC1)
|
|---|
| 研究期間 (年度) |
2020-04-24 – 2023-03-31
|
| キーワード | 聴覚デコーディング / 脳機能拡張 / 深層学習 / Decoded Neurofeedback / Local Field Potentials |
|---|
| 研究実績の概要 |
複雑な問題に対処する際，状況に応じた認識を得て、解決策を引き出すために脳機能を拡張することは有用である．脳の情報処理過程では活用できていない潜在情報が存在するという仮説の元，機械学習によりその情報を抽出し，電気刺激として脳にフィードバックすることで脳機能を最大限に利用できると考えた．この可能性を動物モデルで検証するため，ラットにとって十分複雑な言語弁別課題を設計した．まず，バイリンガルのスピーチを学習した音声合成モデルにより同一の発話者による英語とスペイン語の1 - 6秒のフレーズを50フレーズずつ用意した．ノーズポーク穴が左右に二つあるボックスにラットを入れ，英語またはスペイン語をランダムに提示し，言語と対応する穴にノーズポークすると水を与えた．ラットは1日500トライアルを1週間続けても識別率はチャンスレベルの50%であった．また，言語を提示している間の局所場電位（LFP）を記録し，LFPからどちらの言語を提示していたかをデコーディングした．ここでは特徴量設計をせずに網羅的に情報抽出することができる深層学習が有用であると考え，時間軸方向，電極間方向それぞれのフィルターを持つ畳み込みニューラルネットワーク（CNN）を用いた．モデルの学習時に含まれていたフレーズに対応するLFPの分類精度は70%程度で，学習には含まれていないフレーズに対応するLFPの分類精度は60%程度でどちらもチャンスレベル50%を超えた．これは行動レベルでは言語の区別ができないものの，脳活動レベルでは言語の特徴が汎化して潜在しているということを示唆する．そこで，この潜在情報をラットが知覚できるようになった場合に弁別学習が促進されるか検証するため，弁別課題中にCNNが英語と判定したら左の体性感覚皮質（S1），スペイン語と判定したら右のS1に電気刺激を与えるリアルタイムフィードバックシステムを開発した．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
この研究において必要なステップは以下の5点である．（1）ラットは英語とスペイン語を弁別できないが，（2）神経活動レベルでは言語の違いを抽出できる．（3）抽出した情報をラット脳にリアルタイムフィードバックしながら弁別課題を行い，（4）弁別成績が上昇するか確かめる．（5）フィードバックをOFFにした時にも成績は維持されるか，各言語の表象に変化があるか確かめる．現在までに（2）の段階までは終了しており，（3）の段階の実験システムの開発も終了しているため，残りは個体数と訓練時間を増やしてデータを取得することと（4），（5）の解析を行うのみである．
今年度の大きな進捗は（2）の段階において，特に新しいフレーズを聞かせた時の脳波の分類に成功した点である．これまで既知のフレーズでなければ予測は困難であったが，提示するフレーズ数を増やして取得データを増やしたこと，ラットの体動による記録インターフェースのずれを減らす工夫をしデータのノイズを減らしたこと，CNNやTransformerを含む様々な最新の深層学習モデルを検討したことにより達成することができた．また，深層学習による脳波から言語の推定とその結果に基づいて脳に電気刺激をフィードバックするシステムの開発にも取り組み，実現することができたことも大きな進歩と言える．複雑なマルチスレッド処理に加え深層学習の推論も必要なため，プログラミング上の工夫が必要であったが，十分なリアルタイム性を達成することができた．
今年度に得られた技術を組み合わせることでこれ以降のステップは全て達成されると考えられるため，おおむね順調に進展していると判断した．
|
| 今後の研究の推進方策 |
完成した深層学習によるデコーディング技術とリアルタイムAIフィードバックシステムを使い，実験に用いるラットの個体数を増やし，訓練期間も増やしていくことで十分なデータを取得していく．フィードバックの効果として，行動レベルについては弁別課題の成績に変化がみられるか，その変化はフィードバックをOFFにした場合にも残るのかを調べる．またフィードバックの神経活動レベルでの効果として，各言語に対する聴覚皮質の表象がどのように変化するか，その変化はフィードバックOFF時も残っているかを解析する．例えば，デコーダの最終層の特徴量をUMAPという次元削減アルゴリズムにより低次元に圧縮した時，英語とスペイン語とで特徴の分布の距離がフィードバック前より大きくなると考えており，得られたLFPデータとデコーダーから検証していきたい．また，学習過程におけるそれぞれの特徴量の遷移の仕方も解析することで，動物が新たな概念を獲得する過程の神経メカニズムの一端を明らかにできると考えている．
開発したリアルタイムフィードバックシステムはデコーディングと刺激の組み合わせについては汎用的に使えるシステムであるため，例えば上記で得られた知見をもとに学習過程いを模倣した形で神経活動を誘導することで，学習の促進が見られるかについても検討していきたい．
|
