2017 Fiscal Year Research-status Report
Brain machine interface based on artificial intelligence integrating visual and semantic processing
| Project/Area Number |
16K13117
|
|---|
| Research Institution | National Institute of Advanced Industrial Science and Technology |
|---|
Principal Investigator |
林 隆介 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (80444470)
|
|---|
| Project Period (FY) |
2016-04-01 – 2019-03-31
|
| Keywords | 神経科学 / ブレイン・マシン・インタフェース / 深層ニューラルネット / 視覚情報処理 |
|---|
| Outline of Annual Research Achievements |
本研究の目的は、最新の人工知能システムに生体の脳情報を接続し、神経信号から高度な視覚情報の復号化を行い、電子・情報・通信機器を介して対人コミュニケーションに利用する、ブレイン・マシン・インタフェース(BMI)技術を開発することにある。研究計画では、実験動物の大脳皮質・視覚野から神経細胞の活動を記録し、画像認識と文章生成処理を統合した深層ニューラルネットに接続することによって、神経信号から視覚体験の内容を、テキスト化して出力するインタフェース技術の開発を目指している。研究２年目にあたるH29年度は、行動訓練を行った実験動物の脳にマイクロ電極アレイを埋め込み、神経活動計測を行った。また、脳の視覚野における情報処理を模倣した双方向型深層ニューラルネットワークを構築し、記録した神経データと深層ニューラルネットにおける情報表現との間の対応関係を解析した。年度末までに、神経活動データの計測は順調に進んでおり、多くのデータを蓄積することができた。また、双方向型深層ニューラルネットを利用した神経データの解析にも一定の成果があった。具体的には、画像符号化用ユニットと画像復号化用ユニットからなる双方向型深層ニューラルネットワークを構築した。そして、画像符号化用ユニットの高次層ニューロンの活動パターンと、実際に実験動物から記録した神経活動パターンとの間の写像関係を学習し、写像結果を画像復号化用ユニットに入力することで、神経データから実験動物の見ていた画像を高精度で復元することに成功した。また、視覚・言語統合型深層ニューラルネットワークを用いて人間の視覚認知傾向のシミュレーションを行い、得られた知見に関する学会発表を行った。加えて、神経情報処理の解析に有用な新たなデータの解析手法を考案し、論文発表を行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
2年目にあたるH29年度は、当初の計画通り、課題訓練を終えた実験動物に電極を埋め込み、神経活動記録を行い、多くの神経データを蓄積することができた。
また、脳の視覚情報処理を模倣した双方向型深層ニューラルネットワークを構築し、神経データと深層ニューラルネットワークの情報表現の対応を明らかにすることに成功した。こうした実装研究の成果として、人間の視覚認知傾向をシミュレートするシステムを構築し、学会発表を行った。加えて、データの解析手法に関して論文発表を行った。
|
| Strategy for Future Research Activity |
引き続き実験動物から神経活動記録を行い、その情報処理の符号化法を検証し、あわせて符号化手法の開発に取り組む。特に、画像認識用の深層ニューラルネットの符号化法に注目し、神経活動の情報表現の領域依存性や時間変化について詳細に検討し、目的とする視覚・言語統合型人工知能システムに基づく脳情報インタフェース技術の開発に取り組む。
|
| Causes of Carryover |
当初の計画ほど本科研費による旅費支出がなかったため、次年度に繰り越しした。
|
