2019 Fiscal Year Annual Research Report
脳活動デコーディングを用いたプログラム理解の神経情報処理基盤の解明
| Project/Area Number |
18J22957
|
|---|
| Research Institution | Nara Institute of Science and Technology |
|---|
Principal Investigator |
幾谷 吉晴 奈良先端科学技術大学院大学, 先端科学技術研究科, 特別研究員(DC1)
|
|---|
| Project Period (FY) |
2018-04-25 – 2021-03-31
|
| Keywords | fMRI / 脳活動デコーディング / プログラム理解 |
|---|
| Outline of Annual Research Achievements |
D1期に収集した30名のプログラマの脳活動データを分析し、脳活動上のソースコードカテゴリに対する識別精度が各被験者の行動パフォーマンスと関連するか否かを検証した。その結果、主として左脳の前頭葉・頭頂葉・側頭葉および右脳の前頭葉にまたがる7つの脳領域の情報表現が、各被験者の行動パフォーマンスと強い相関を示すことが明らかになった。「APSIPA Biomedical Signal Processing and Systems」や「脳と心のメカニズムワークショップ」での口頭発表時に得られたフィードバックを反映しながら、得られた成果を論文として取りまとめ、前刷りを2020年1月29日付でbioRxivにて公開した。
さらに、プログラマの視線移動や脳波についての研究も同時に遂行した。機械学習モデルを用いて、プログラムを理解する際のプログラマの視線が、どういったソースコード特徴に集中するかを定量的に評価するフレームワークを構築した。加えて、プログラマの脳波から本人が取り組んでいるプログラム理解活動が成功するか否かを予測するシステムを設計し、実験によりその有効性を検証した。視線についての成果は国際学会にて発表済み、脳波についての成果は2020年7月の国際学会にて発表予定である。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当該研究員は採用第1年度に収集した脳活動データの分析結果を論文としてまとめることに取り組んだ。同論文には、学会発表２件によって得られた幅広い研究者のフィードバックを反映した。特に分析系の妥当性や結果の解釈について共同研究者たちと慎重な議論を重ね、その成果を採用第2年度1月29日に雑誌へ投稿し、前刷りをbioRxivにて公開した。あくまでも査読前段階ではあるが、この成果は同時期にbioRxivで公開された論文の中で上位１％に入るほどの高い注目を集めている。さらに、プログラム理解時の神経情報処理機構のモデル化に向けた発展的課題として、プログラムをうまく識別するように訓練した機械学習モデルと人間の脳活動データの比較実験の準備を進めている。具体的には、およそ1万8000件のJavaソースコードを用いて、各ソースコードの実装アルゴリズムを識別するように回帰型ニューラルネットワークを訓練し、得られた学習済みモデルをプログラマの脳活動データと比較することを計画している。この実験により、プログラム理解における機械学習モデルと人間の脳活動の類似点・相違点を定量的に明らかにできると期待される。
|
| Strategy for Future Research Activity |
次のテーマとして、これまでに計測した人間のプログラム理解時の脳活動データを、訓練によって精度よくプログラム識別を実行できる深層学習モデルの内部表現と比較する研究を計画している。現在は、その実行準備としておよそ1万8000件のJavaソースコードを収集し、各ソースコードの実装アルゴリズムを識別するようにRecurrent Neural Network (RNN) を訓練している。学習済みRNN内部の特徴表現と人間の脳活動表現を比較することで、人間と機械のプログラム理解方法の違いを定量的に明らかにすることができると期待される。
|
