2018 Fiscal Year Annual Research Report
多様層情報の脳内処理機構の解明に基づく脳内情報読解技術の深化と応用技術の開発
| Project/Area Number |
17H01797
|
|---|
| Research Institution | Ochanomizu University |
|---|
Principal Investigator |
小林 一郎 お茶の水女子大学, 基幹研究院, 教授 (60281440)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
西本 伸志 国立研究開発法人情報通信研究機構, 脳情報通信融合研究センター脳情報通信融合研究室, 主任研究員 (00713455)
西田 知史 国立研究開発法人情報通信研究機構, 脳情報通信融合研究センター脳情報通信融合研究室, 主任研究員 (90751933)
|
|---|
| Project Period (FY) |
2017-04-01 – 2020-03-31
|
| Keywords | 深層学習モデル / fMRIデータ / 脳内解読 / 予測符号化 |
|---|
| Outline of Annual Research Achievements |
脳の個体差の関係から、同一被験者からfMRIデータを取得することを余儀なくされてしまうが、深層学習モデルを用いて、脳活動のモデルを構築する際に大量のデータを取得するためには、被験者の負荷ならびにコストがかかってしまうため、とても困難になっている。これを解消するために[Ngiam+10]によるマルチモーダル自己符号化器を使用し、複数の脳活動データの対応関係を取れるようにした．3人の被験者の脳活動データをそれ以外の1人の被験者の脳活動データに変換し、擬似的にデータを増やしたものを用いて、松尾ら[松尾+2016]で提案された脳活動データからキャプションを生成するシステムおよび類似画像を検索するシステムを用いて、若干ながら生成および検索精度が向上したことを確認した．
また、Lotterら[Lotter+2016]によって開発された、大脳皮質において行われているとされている予測符号化を模した動画像予測モデルであるPredNetを実装し、動画像刺激が与えられたヒト脳状態をfMRIで計測したデータと、PredNetの深層学習モデルにおける中間状態の値の間に相関関係が存在するかを調査するための回帰モデルの構築をおこなった．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
深層学習モデル構築のためのサーバの故障などあり、予定していた計画の遂行が少し遅れてしまったが、「脳活動データの有効活用技術の開発」については、画期的な成果は得られはしなかったものの、脳活動データを有効に使うための方向性を検討することができた。予測符号化については、実験基盤となるモデルの構築は済んでおり、実験ができる状態になった。
|
| Strategy for Future Research Activity |
予測符号化の深層学習モデルにおいて、モデル内の中間層の状態と脳活動データとの相関関係を調査する．また、脳活動データから中間層の状態を推定する回帰モデルを構築し、脳活動データから画像を生成することを試みる。さらには、動画像を視聴した脳活動データから、動画像を説明する文の生成を試みる。
|
