研究課題
本研究の目的は、最新の人工知能システムに生体の脳情報を接続し、神経信号から高度な視覚情報の復号化を行い、電子・情報・通信機器を介して対人コミュニケーションに利用する、ブレイン・マシン・インタフェース(BMI)技術を開発することにある。研究計画では、実験動物の大脳皮質・視覚野から神経細胞の活動を記録し、画像認識ならびに言語処理を統合した深層ニューラルネットを利用することにより、神経信号から視覚体験の内容ならびに言語的意味表象を出力するインタフェース技術の開発を目指している。研究計画の最終年度にあたるH30年度は、実験動物のから記録された神経活動データを元に、動物に提示された画像を復号化する手法の改良を進めるとともに、共同研究機関からヒトの脳活動データも取得し、その言語的意味表象の解析をすすめた。具体的には、画像符号化用ユニットと画像復号化用ユニットからなる双方向型深層ニューラルネットワークを構築し、画像符号化用ユニットの高次層ニューロンの活動パターンと、実際に実験動物から記録した神経活動パターンとの間の写像関係を学習し、写像結果を画像復号化用ユニットに入力することで、神経データから実験動物の見ていた画像を高精度で復元することに成功し、学会発表を行った。また、観察画像とその言語的対応情報を学習した深層ニューラルネットを利用して、ヒトならびに実験動物の脳活動データ解析を行い、学会発表を行った。研究機関全体を通じて、画像処理ならびに言語処理を融合した深層ニューラルネットを開発し、その情報表現と生体の脳内情報表現の比較手法を確立し、神経情報を解読するインタフェースの基盤技術開発を実施した。
すべて 2019 2018 その他
すべて 雑誌論文 (3件) (うち査読あり 3件、 オープンアクセス 3件) 学会発表 (6件) (うち国際学会 2件、 招待講演 1件) 備考 (1件)
Scientific Reports
巻: 9 ページ: 1-12
10.1038/s41598-019-40370-7
Journal of Vision
巻: 18 ページ: 756-756
2018 IEEE International Conference on Systems, Man, and Cybernetics (SMC)
巻: - ページ: 105-109
10.1109/SMC.2018.00028
https://unit.aist.go.jp/hiri/nrrg/
