2017 Fiscal Year Annual Research Report
Neural basis of mental images
| Project/Area Number |
15H05710
|
|---|
| Research Institution | Kyoto University |
|---|
Principal Investigator |
神谷 之康 京都大学, 情報学研究科, 教授 (50418513)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
塚本 光昭 株式会社国際電気通信基礎技術研究所, 脳情報通信総合研究所, 研究技術員 (00514481)
西本 伸志 国立研究開発法人情報通信研究機構, 脳情報通信融合研究センター脳情報通信融合研究室, 主任研究員 (00713455)
吉川 左紀子 京都大学, こころの未来研究センター, 教授 (40158407)
柳澤 琢史 大阪大学, 医学部附属病院, その他 (90533802)
|
|---|
| Project Period (FY) |
2015-05-29 – 2020-03-31
|
| Keywords | ブレイン・デコーディング / ブレイン-マシン・インターフェース / fMRI / 視覚 |
|---|
| Outline of Annual Research Achievements |
本課題では、さまざまなイメージを伴う心的状態における脳活動を、主としてfMRIおよび皮質脳波（ECoG）を用いて計測し、機械学習モデルを用いて解析することを通して、心的イメージの脳内表現と情報処理過程を理解することを目指している。
昨年度までに、深層ニューラルネットワーク（deep neural networks, DNNs）を含む複数の計算モデルとデコーディング解析を組み合わせ、想起課題中や夢見中のfMRI脳活動に、視覚内容のコントラストや形、画像内における物体の位置や回転に対する不変性を持つ中間特徴など、多様な視覚特徴が表現されているかどうかを検証した。本年度は、その成果にもとづき、DNN信号から入力画像を再構成するコンピュータ・ビジョンの技術を組み合わせることで、想起内容の画像再構成が可能であるかどうかを検証した。脳活動からDNN信号パターンに変換（翻訳）するデコーダを構築し、被験者があらかじめ記憶した画像を想起している時の脳活動パターンをDNN信号パターンに変換した。このDNN信号を再構成アルゴリズムに入力として与えることで、想起内容の再構成に成功した。この結果は、想起した視覚内容の多様な視覚特徴が、知覚と共通の脳活動パターンによって表現されていることをさらに強力に支持するものである、またこれは、世界で初めて想起内容を画像化することに成功した成果である。
REM睡眠実験とECoG-ライフログデータ解析については、システムの構築がほぼ完了し、予備実験データが得られつつある。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
深層ニューラルネットワーク（DNN）を利用した解析法が、当初の予想以上に強力であることが判明した。単純な形については主観的イメージを画像として可視化することにすでに成功した。また、REM睡眠時の夢の解析を行うための基盤が整いつつあり、今後の研究により、眼球運動との関係や睡眠ステージ間によるイメージの違いについて新たな知見が得られることが期待される。ECoG-ライフログデータのための実験系開発についても大きな進展が見られ、今後、自然な条件下でのイメージ研究が飛躍的に進展するものと考えられる。
|
| Strategy for Future Research Activity |
当初の計画から根本的な変更点はないが、以下の点について重点を置いた研究を進める。
・深層ニューラルネットワーク（DNN）を利用した解析法が当初の予想以上に強力であることが判明したため、積極的にその強みを活かすべく各プロジェクトに取り入れる。GPU計算機等リソースを充実させながら、人工知能分野における技術の進歩に合わせて、脳－行動データ解析のための新しい手法を開発する。
・REM睡眠実験とECoG-ライフログデータ解析については、その研究基盤が完成しつつあるので、当初の計画にあるように急速眼球運動とイメージの関係や自発的なイメージの解読に関する研究を本格的に実施する。並行して、DNNを用いてより詳細なイメージ内容を解読する方法を開発する。
・これまで視覚イメージを中心に研究してきたが、聴覚や情動、および、クロスモーダルな内容に関する実験と解析を進める。
|
Research Products
(36 results)
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
[Presentation] Sparse circuit activity during motor preparation in mice2017
Author(s)
Majima, K. Hasegawa, M. Itokazu, T. Maki, T. Albrecht, UR. Castner, N. Izumo, M. Sohya, K. Sato, K. T. Kamitani, Y. Sato, R.T
Organizer
第40回日本神経科学大会 (Neuroscience2017)
Int'l Joint Research
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
