2021 Fiscal Year Annual Research Report
AI Driven Neural Activity Manipulation and Intelligence Engineering
| Project/Area Number |
20J22906
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
佐藤 元重 東京大学, 薬学系研究科, 特別研究員(DC1)
|
|---|
| Project Period (FY) |
2020-04-24 – 2023-03-31
|
| Keywords | neurofeedback / brain computer interface / auditory cortex / local field potential / machine learning / explainable AI |
|---|
| Outline of Annual Research Achievements |
私は脳の情報処理過程で活用できていない潜在的な活動情報をAIにより抽出し、電気刺激として脳にfeedbacckし直接回路を駆動することで新たなを脳活動・新たな機能を獲得できる（脳-AI共学習）という仮説を立て、知能拡張の可能性を検討している。
前年度までの研究により、ラットは英語とスペイン語のスピーチの聞き分け課題を学習しないが、音声提示中に記録した一次聴覚皮質の局所場電位（LFP）から、どちらの言語を聴いていたかをAIにより70%正しく予測できることが分かっている。つまりラットが行動レベルでは活用していない潜在的な情報をAIはLFPから抽出できる。
そこで当該年度は、言語弁別課題中にAIにより予測された言語に応じて左または右の体性感覚皮質を電気刺激するというNeurofeedbackシステムを開発し、全15匹のラットに適用すると、どの個体も弁別成績が80%を超えるまで学習できることを示した。また学習閾値に達した後はfeedbackをオフにしても、未知のフレーズを提示しても正解率がどの個体も維持されることを明らかにした。また対照実験として、LFPに依存せずに英語/スペイン語と決定論的に対応した左/右体性感覚皮質を刺激する実験を4個体で行った。刺激存在下では弁別成績は脳-AI共学習と同程度であるが、学習後に刺激オフ条件または未知フレーズ提示条件にすると、弁別率はランダムレベル（50%）に低下する傾向が観察されている。次年度はさらに例数を増やし再現性が見られるか確認する予定である。これらの結果から単なる連合刺激ではなく、自身の脳活動に依存したフィードバックが得られる「脳-AI共学習」が通常のラットには獲得し得ない言語らしい音の響きという概念を獲得可能にするということを示唆している。将来的に脳-AI共学習は学習障碍の改善のみならず、健常者の知能向上にも展開しうる。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
この研究において必要なステップは以下の6点である。（1）ラットは英語とスペイン語を弁別できないが（ラットに学習できない課題を構築する）、（2）神経活動レベルでは言語の違いを抽出できることを示す。（3）抽出した情報をラット脳にリアルタイムフィードバックしながら弁別課題を行い、弁別成績が上昇するか確かめる。（4）フィードバックをオフにした時にも成績は維持されるか、未知のフレーズに対しても汎化するか調べる。（5）対照実験として、神経活動に依存しない連合学習による成績と比較する。（6）脳-AI共学習前後で新たな神経活動パターン、特に各言語を表象した活動が獲得されているか確かめる。
当該年度までに（4）の段階まで終了しており、(5)の対照実験も4匹分の結果を既に得ている。（6）については解析に用いるデータは取得済みであることに加え、評価のためのアルゴリズムの半分が既に実装済みである。具体的には、次元縮約したLFPの特徴を用いて変化を調べる手法と、デコーディングに対する予測貢献度の変化を調べる手法の2種類を行う予定であり、後者に関してはAIの予測に寄与した時間帯や脳領域を算出できるIntegrated Gradientsアルゴリズムを用いて、ラットの学習前後でデコーディングに対する貢献度の変化をとらえる。このアルゴリズムの実装が既に完了しており、前者の手法も実装は困難ではないため、(6)の解析は年度前半に終了できる見込みである。以上を踏まえて現在までの進捗状況は「おおむね順調に進展している」と考えている。
|
| Strategy for Future Research Activity |
LFPに依存せずに英語/スペイン語と決定論的に対応した左/右体性感覚皮質の刺激する対照実験の例数を増やし、当該年度までに得られた結果（刺激が伴っている最中では弁別できるが刺激が無くなると弁別できない）の再現性や個体差の有無を検証する。
さらに、弁別課題学習前後で聴覚皮質の活動パターンの変化を解析する。そのため、次元縮約したLFPの特徴から各言語と対応した新たな脳活動パターンが生じているのか、AIの予測に寄与した貢献度（Integrated Gradients）がラットの学習前後で変化しているか調べる。
また、上記解析終了後には脳-AI共学習がどのようなメカニズムによって学習を可能にしているのか詳細に調べる。音声生成モデル（VQVAE、実装済み）を利用し、LFPからその潜在変数を予測することを通してラットにとって最も英語/スペイン語に聞こえやすい音声を生成し、どのような音響成分が抽出されるか、それら生成された音声をラットに提示することでより判別率が向上するのか等調べる。ラットにとって言語を判断しやすい特徴と、音声学上で知られている言語間の違いを反映した特徴が一致するのか、またLFPデコーディングモデルではなく音波そのものを処理する音声認識モデルが注目する特徴と一致するのか検証する。
以上のように今後は脳-AI共学習の汎化がなぜ生じるのか、どのような音響や脳活動変化が重要なのかといった詳細なメカニズムに迫る研究を行う。
|
