|
本研究課題では、自由行動下でのヒトの運動や視聴覚内容、コミュニケーションおよび思考内容を大量のライフログデータとして記録しつつ、これと同期して前頭葉・側頭葉・頭頂葉を中心として留置した頭蓋内電極から皮質脳波による高精度な脳信号を計測した。実際、各被験者につき10日程度の連続計測を50人以上施行し、のべ500日以上の同時計測データを取得した。また、計測されたビッグデータを教師信号として、Deep Neural Network（DNN）等の人工知能技術を用いて、脳信号からヒトの行動・思考・認知内容の全てを包括して予測するDecodingを行うことで、脳情報処理の解明を目指した。視覚情報についてはword2vecを用いて動画を意味空間のベクトルとすることで、脳活動と対応づけることに成功した。また同様に、Pre-trained VGG19に画像を入力し、中間層の反応をベクトルとすることで、大量な同期データをグラウンディングし、脳信号から推定できることを明らかにした。特に、VGG19の各層を用いて推定を行い、その精度を比較したところ、最終層を用いた場合に最も高い精度が得られた。人が認識する意味に対応する情報が最終層に表現されていることが示唆された。さらに、ヒトが新たな画像や動作を学習した場合の脳活動変化と、これに対応したDecoderの変化を比較した。具体的には脳磁図を用いて画像カテゴリを推定するdecoderを作成し、この出力に応じた画像を被験者にフィードバックした。被験者が画像を制御する訓練を行うことで、被験者の視覚認知機能が改善することが示された。一方、脳活動としてはFFAの活動に優位な変化がみられ、視覚性認知機能と脳活動の関係性が明らかになった。また、同様に皮質脳波を用いて画像を制御するシステムを開発し、新たな意思伝達技術となることを明らかにした。
|
