2019 Fiscal Year Research-status Report
文理解の脳fMRI反応を予測する統合神経意味計算モデルの構築
| Project/Area Number |
19K12727
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
赤間 啓之 東京工業大学, リベラルアーツ研究教育院, 准教授 (60242301)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
粟津 俊二 実践女子大学, 人間社会学部, 教授 (00342684)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | 文理解 / 脳科学 / fMRI / 計算神経言語学 / 機能的連結性 / 機械学習 / 深層学習 |
|---|
| Outline of Annual Research Achievements |
本研究は、文の意味理解をする脳の反応を予測するため、個人別の特徴を取り入れた深層学習モデルを提案することが目的で開始された。2019年度は、本研究の初年度にあたり、脳のfMRI賦活情報から言語思考を予測する機械学習を、1)個人差の克服と個人間モデリング、2)より複雑な文・文章への適用など、さらに高度なものとする試みを手掛けることとなった。その際、fMRIを利用した安静時機能的連結性のデータを個人間モデリングに組み込むことが重要という観点から、研究計画書にある通り、安静時機能的連結性のひとつ、デフォルト・モード・ネットワークが個人の特徴を同定するうえでどのような役割を果たすかという点を精査した。その結果、行動計量学会のポスター発表、『概念理解に関する脳fMRIデータおよび言語コーパスによる機械学習モデルと正準相関分析』、日本認知科学会のポスター発表『バイリンガル話者の言語切替における脳の機能的連結性について』、CI学会の口頭発表、『国産3T-MRIにおける安静時脳機能画像(rs-fMRI)によるデフォルト・モード・ネットワーク(DMN)描出の検討 』に成果を発表することができた。さらに、fMRIデータの機械学習の方法として、深層学習を用いた脳デコーディングについての検討を開始し、層化抽出法の一種であるStratified Shuffle Split Cross Validationなど交差評価の工夫を行うとともに、モデル化のアルゴリズムとしてはサポートベクターマシン(SVM)、ペナルティ付きロジスティック回帰(PLR)に加え、多チャンネル２次元畳み込みニューラルネット、３次元畳み込みニューラルネットなどを当研究室の既存のデータを用いて評価するなどし、来るべき実験の準備にとりかかっている。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
脳の賦活予測モデルを構築するためのアルゴリズムの検討は、当初の想定以上に多様化したが、予定通り順調に行われている。特に、本研究で行う予定の言語理解実験という条件では、意味理解(判別)モデルの形成に、あくまで相対的なものではあるが、２次元畳み込みニューラルネットが極めて有効であることがわかった。また安静時機能的連結性のネットワークデータ(グラフ)解析に、データの全体的特徴と細部結線を一挙に反映できるグラフラプラシアンを利用するモデル、グラフ指標、特に全体効率に脳の領域ごとの重みづけをした新指標を利用するモデル(これは4月上旬にプレプリントとしてBioRxivにArea-wise Corrected Global Efficiency as Fingerprints Negatively Correlated with Ageというshort paperとして投稿している)が有効であることが明らかになった。同時に、言語刺激を利用した認知実験の先行研究をまとめる作業も進められ、様々な観点からメタ分析のためのデータベース化を行うことができた。文刺激の実験内提示法に関しては、Tokyo Tech-Aachen連携プロジェクト(研究代表者の本務校、国立大学法人東京工業大学の推進するプロジェクト)で協働しているアーヘン工科大のスタッフとも共同討議し、文字が右から左へスクロールすることで視点のふらつきを抑えるプログラムを試作することができた。また実際に利用する実験刺激文の候補としては、様々な意味的特徴を備えた例文を作る作業を開始している。ただし、2月に始まる新型コロナ禍により、実験刺激の検討や、KRI装置を利用した呼ぶ実験などの予定をこなすことが困難となっている。研究計画の見直しをするべきかどうか、検討中である。
|
| Strategy for Future Research Activity |
2月に始まる新型コロナ禍により、研究代表者と研究分担者が実際にMRIスキャナーに入って実験デザインを評価する予備実験を行うことが困難になっている。当初は、2019年度末までに、予備実験を済ませ、それをもとに2020年度には、実験計画書を「人を対象とした研究倫理審査委員会」に提出して審査を受ける予定であった。しかし、大学は緊急事態宣言によって事実上、縮小業務を余儀なくされ、研究代表者と研究分担者とも、出校自粛により自宅待機して、そこから遠隔業務を行っている。こうした研究室封鎖状況が数か月続くと、それから先、実際に人をハンドリングする実験実施へとフェーズ移行するのは容易ではない。実際に実験を行うMRI施設の利用可能性も、新型コロナ禍により状況が不透明である。現在は、研究室が保存している過去の実験データや、HCPなどのMRI公開データを利用して、本研究で開発する提案手法による再分析やシミュレーションを行うことで、実験が困難なこの時間を有効活用するしかない。この点は、初年度も十分成果を挙げており、今後も引き続き、より広く、深く推進することが可能である。また先行研究のレビューや本研究と密接に関連するテーマのメタ分析など、研究計画の重点をずらしたり、順番を変えたりすることで、本研究の目的が全うされるための努力を重ねるつもりである。しかし非常事態であり、基金の最終執行年度を1年延長するなどの施策が取られるとありがたいところではある。
|
| Causes of Carryover |
現在までの進捗状況の項目に記載した通り、当該年度で予備実験を行わなかったため、施設使用料や、実験参加者謝金などの支出がなかったことなどが理由である。今年度は、新型コロナ禍による若干の計画変更に鑑み、予備実験を実施するにあたってのRA経費や謝金、本研究に先立つ先行研究を踏まえたレビュー論文・メタ分析論文等の英語校閲、出版費用のため助成金を執行する予定である。
|
