| 研究課題/領域番号 |
17H01797
|
|---|
| 研究機関 | お茶の水女子大学 |
|---|
研究代表者 |
小林 一郎 お茶の水女子大学, 基幹研究院, 教授 (60281440)
|
|---|
| 研究分担者 |
西本 伸志 国立研究開発法人情報通信研究機構, 脳情報通信融合研究センター脳情報通信融合研究室, 主任研究員 (00713455)
西田 知史 国立研究開発法人情報通信研究機構, 脳情報通信融合研究センター脳情報通信融合研究室, 主任研究員 (90751933)
|
|---|
| 研究期間 (年度) |
2017-04-01 – 2020-03-31
|
| キーワード | 深層学習モデル / fMRIデータ / 脳内解読 / 予測符号化 |
|---|
| 研究実績の概要 |
脳の個体差の関係から、同一被験者からfMRIデータを取得することを余儀なくされてしまうが、深層学習モデルを用いて、脳活動のモデルを構築する際に大量のデータを取得するためには、被験者の負荷ならびにコストがかかってしまうため、とても困難になっている。これを解消するために[Ngiam+10]によるマルチモーダル自己符号化器を使用し、複数の脳活動データの対応関係を取れるようにした．3人の被験者の脳活動データをそれ以外の1人の被験者の脳活動データに変換し、擬似的にデータを増やしたものを用いて、松尾ら[松尾+2016]で提案された脳活動データからキャプションを生成するシステムおよび類似画像を検索するシステムを用いて、若干ながら生成および検索精度が向上したことを確認した．
また、Lotterら[Lotter+2016]によって開発された、大脳皮質において行われているとされている予測符号化を模した動画像予測モデルであるPredNetを実装し、動画像刺激が与えられたヒト脳状態をfMRIで計測したデータと、PredNetの深層学習モデルにおける中間状態の値の間に相関関係が存在するかを調査するための回帰モデルの構築をおこなった．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
深層学習モデル構築のためのサーバの故障などあり、予定していた計画の遂行が少し遅れてしまったが、「脳活動データの有効活用技術の開発」については、画期的な成果は得られはしなかったものの、脳活動データを有効に使うための方向性を検討することができた。予測符号化については、実験基盤となるモデルの構築は済んでおり、実験ができる状態になった。
|
| 今後の研究の推進方策 |
予測符号化の深層学習モデルにおいて、モデル内の中間層の状態と脳活動データとの相関関係を調査する．また、脳活動データから中間層の状態を推定する回帰モデルを構築し、脳活動データから画像を生成することを試みる。さらには、動画像を視聴した脳活動データから、動画像を説明する文の生成を試みる。
|
