Development of innovative artificial intelligence using ECoG big data
Publicly Offered Research
| Project Area | Correspondence and Fusion of Artificial Intelligence and Brain Science |
|---|
| Project/Area Number |
17H06032
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research on Innovative Areas (Research in a proposed research area)
|
| Allocation Type | Single-year Grants |
|---|
| Review Section |
Complex systems
|
|---|
| Research Institution | Osaka University |
|---|
Principal Investigator |
柳澤 琢史 大阪大学, 高等共創研究院, 教授 (90533802)
|
|---|
| Project Period (FY) |
2017-04-01 – 2019-03-31
|
| Project Status |
Completed (Fiscal Year 2018)
|
| Budget Amount *help |
¥12,220,000 (Direct Cost: ¥9,400,000、Indirect Cost: ¥2,820,000)
Fiscal Year 2018: ¥6,110,000 (Direct Cost: ¥4,700,000、Indirect Cost: ¥1,410,000)
Fiscal Year 2017: ¥6,110,000 (Direct Cost: ¥4,700,000、Indirect Cost: ¥1,410,000)
|
|---|
| Keywords | Brain-Computer Interface / Deep neural network / ECoG / Big data / Closed-loop / MEG / 視覚認知機能 / 皮質脳波 / 人工知能 / ビッグデータ / フィードバック / ライフログ / neural decoding / 脳・神経 / 神経科学 / 情報工学 |
|---|
| Outline of Annual Research Achievements |
本研究課題では、自由行動下でのヒトの運動や視聴覚内容、コミュニケーションおよび思考内容を大量のライフログデータとして記録しつつ、これと同期して前頭葉・側頭葉・頭頂葉を中心として留置した頭蓋内電極から皮質脳波による高精度な脳信号を計測した。実際、各被験者につき10日程度の連続計測を50人以上施行し、のべ500日以上の同時計測データを取得した。また、計測されたビッグデータを教師信号として、Deep Neural Network（DNN）等の人工知能技術を用いて、脳信号からヒトの行動・思考・認知内容の全てを包括して予測するDecodingを行うことで、脳情報処理の解明を目指した。視覚情報についてはword2vecを用いて動画を意味空間のベクトルとすることで、脳活動と対応づけることに成功した。また同様に、Pre-trained VGG19に画像を入力し、中間層の反応をベクトルとすることで、大量な同期データをグラウンディングし、脳信号から推定できることを明らかにした。特に、VGG19の各層を用いて推定を行い、その精度を比較したところ、最終層を用いた場合に最も高い精度が得られた。人が認識する意味に対応する情報が最終層に表現されていることが示唆された。さらに、ヒトが新たな画像や動作を学習した場合の脳活動変化と、これに対応したDecoderの変化を比較した。具体的には脳磁図を用いて画像カテゴリを推定するdecoderを作成し、この出力に応じた画像を被験者にフィードバックした。被験者が画像を制御する訓練を行うことで、被験者の視覚認知機能が改善することが示された。一方、脳活動としてはFFAの活動に優位な変化がみられ、視覚性認知機能と脳活動の関係性が明らかになった。また、同様に皮質脳波を用いて画像を制御するシステムを開発し、新たな意思伝達技術となることを明らかにした。
|
| Research Progress Status |
平成30年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
平成30年度が最終年度であるため、記入しない。
|
Report
(2 results)
Research Products
(43 results)
-
-
-
-
-
-
[Journal Article] MEG–BMI to Control Phantom Limb Pain2018
Author(s)
Takufumi Yanagisawa, Ryohei Fukuma, Ben Seymour, Koichi Hosomi, Haruhiko Kishima, Shimizu Takeshi, Yokoi Hiroshi, Hirata Masayuki, Yoshimine Toshiki, Kamitani Yukiyasu, Youichi Saitoh
-
Journal Title
Neurologia medico-chirurgica
Volume: 58
Issue: 8
Pages: 327-333
DOI
NAID
ISSN
0470-8105, 1349-8029
Related Report
Peer Reviewed / Open Access
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
[Presentation] MEG-based BMI controlled the sensorimotor cortical plasticity and phantom limb pain2017
Author(s)
T. Yanagisawa, R. Fukuma, B. Seymour, K. Hosomi, H. Kishima, T. Shimizu, H. Yokoi, M. Hirata, T. Yoshimine, Y. Kamitani, Y. Saitoh
Organizer
rtFIN satellite symposium on brain-computer interface and neurofeedback
Related Report
Int'l Joint Research / Invited
-
-
[Presentation] Development of an epilepsy diagnostic tool using artificial intelligence and cross-frequency coupling2017
Author(s)
Takufumi Yanagisawa, Ryohei Fukuma, Kotaro Edakawa, Hideki Okada, Toshihiko Araki, Satoru Oshino, Maki Kobayashi, Masataka Tanaka, Shyota Yamamoto, Toshiki Yoshimine, Tatsuya Harada, Haruhiko Kishima
Organizer
脳神経外科学会総会
Related Report
-
-
[Presentation] Magnetoencephalographic-based brain machine interface robotic hand for controlling sensorimotor cortical plasticity and phantom limb pain2017
Author(s)
T. Yanagisawa, R. Fukuma, B. Seymour, K. Hosomi, H. Kishima, T. Shimizu, H. Yokoi, M. Hirata, T. Yoshimine, Y. Kamitani, Y. Saitoh
Organizer
ECCN
Related Report
Int'l Joint Research / Invited
-
-
-
-
-
