2017 Fiscal Year Annual Research Report
Development of innovative artificial intelligence using ECoG big data
Publicly Offered Research
| Project Area | Correspondence and Fusion of Artificial Intelligence and Brain Science |
|---|
| Project/Area Number |
17H06032
|
|---|
| Research Institution | Osaka University |
|---|
Principal Investigator |
柳澤 琢史 大阪大学, 国際医工情報センター, 寄附研究部門講師 (90533802)
|
|---|
| Project Period (FY) |
2017-04-01 – 2019-03-31
|
| Keywords | 皮質脳波 / ビッグデータ / Deep neural network / ライフログ / neural decoding |
|---|
| Outline of Annual Research Achievements |
本研究では、頭蓋内脳波と行動・思考内容のライフログの同時計測データに、DNNを適用することを目的とした。既に、33名の患者（330日以上）から、テレビなどの視聴内容と脳波の同期計測を16人分500時間以上得た。また、独自開発した気分・思考内容調査法にて、7名の患者から全104回答を得た。本年度は、これらのデータからDNNに適用可能なデータを作成した。
１）運動状態の抽出：皮質脳波と同時にビデオカメラにて患者の様子を記録した。得られた動画から、OpenPoseを用いて骨格座標を推定し、220時間分のデータを得た。このデータについて皮質脳波から骨格座標を推定するDNNの学習を開始した。
２）被験者の普段の気分や情動、思考内容についての同時計測：被験者の気分・思考内容調査から、各電極での活動と質問項目への回答との相関関係を検討した。回答数の多かった２名の患者について、各回答の数値と、その回答をした直前５分間の各電極のパワー（Θ、δ、α、β）との相関を計算した結果、２人に共通して、“未来について考えている”項目と、“今の気分が悲しい-幸せ”の項目の数値が、側頭葉でのβパワーに相関が見られた（相関係数, -0.7程度)。今後、機械学習を用いて気分や思考内容を脳波から推定する予定である。
３）患者の視聴したTVの内容のグラウンディング：皮質脳波を計測中に患者が視聴したTVの動画を１秒毎の静止画に変換し、各静止画について以下の３つの方法でアノテーションをつけた；(1)アノテータ（クラウド）により状況を記述してもらう、(2)Pre-trained DNNにより、各画像にラベルをつける、(3)TVの字幕データを取得する。１についてはride regressionにて脳活動から意味内容を推定できることを確認し、closed-loopで推定できることを示した。現在、DNNを適用して学習を行っている。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度は、DNNに用いるビッグデータを作成することを主な目標として研究を行った。計画通り、頭蓋内脳波を計測しながら、被験者の視聴している内容や気分、運動状態を同時計測し、これらから、機械学習に必要なデータを抽出することに成功した。現在、これらのデータをDNNに適用することで、予測を行っている。
また、学習したDNNをclosed-loopで用いることで被験者の脳活動に可塑的変化を誘導する準備を開始した。特に皮質脳波から視聴している動画の意味内容を推定する機械学習をclosed-loopで用いることで、被験者が意図した通りに、推定される画像を制御できることを明らかにした。多次元の意味内容の推定についてもclosed-loopの条件で、被験者が学習できることが示された（特許出願準備中）。以上より、研究はほぼ計画通りに進行していると考える。
|
| Strategy for Future Research Activity |
上記で得られたデータを、共同研究者である原田達也教授が開発したDNN、EnvNetに適用し、脳波の波形データから、推定を行う。画像については人がつけた意味から変換した意味ベクトルを出力として学習を行う。また、pre-trained CNNの出力を正解とした学習を行うことで、比較をする。さらに、これらで作成したDNNをオンラインで適用し、被験者がその出力をコントロールする実験を行うことで、被験者の脳活動に可塑的変化を誘導する。
また、運動内容については、OpenPoseで抽出した２次元の骨格座標を出力として学習を行う。さらに、気分思考内容については、データ数が限られるため、regressionを用いて学習を行い、予測精度を検定する予定である。
|
-
-
-
-
-
-
-
-
-
-
-
[Presentation] MEG-based BMI controlled the sensorimotor cortical plasticity and phantom limb pain2017
Author(s)
T. Yanagisawa, R. Fukuma, B. Seymour, K. Hosomi, H. Kishima, T. Shimizu, H. Yokoi, M. Hirata, T. Yoshimine, Y. Kamitani, Y. Saitoh
Organizer
rtFIN satellite symposium on brain-computer interface and neurofeedback
Int'l Joint Research / Invited
-
-
[Presentation] Development of an epilepsy diagnostic tool using artificial intelligence and cross-frequency coupling2017
Author(s)
Takufumi Yanagisawa, Ryohei Fukuma, Kotaro Edakawa, Hideki Okada, Toshihiko Araki, Satoru Oshino, Maki Kobayashi, Masataka Tanaka, Shyota Yamamoto, Toshiki Yoshimine, Tatsuya Harada, Haruhiko Kishima
Organizer
脳神経外科学会総会
-
-
[Presentation] Magnetoencephalographic-based brain machine interface robotic hand for controlling sensorimotor cortical plasticity and phantom limb pain2017
Author(s)
T. Yanagisawa, R. Fukuma, B. Seymour, K. Hosomi, H. Kishima, T. Shimizu, H. Yokoi, M. Hirata, T. Yoshimine, Y. Kamitani, Y. Saitoh
Organizer
ECCN
Int'l Joint Research / Invited
-
-
-
