| 研究課題/領域番号 |
17H01797
|
|---|
| 研究機関 | お茶の水女子大学 |
|---|
研究代表者 |
小林 一郎 お茶の水女子大学, 基幹研究院, 教授 (60281440)
|
|---|
| 研究分担者 |
西本 伸志 国立研究開発法人情報通信研究機構, 脳情報通信融合研究センター脳情報通信融合研究室, 主任研究員 (00713455)
西田 知史 国立研究開発法人情報通信研究機構, 脳情報通信融合研究センター脳情報通信融合研究室, 研究員 (90751933)
|
|---|
| 研究期間 (年度) |
2017-04-01 – 2020-03-31
|
| キーワード | 深層学習モデル / fMRIデータ / マルチモーダル自己符号化器 / 予測符号化 |
|---|
| 研究実績の概要 |
脳の個体差の関係から、同一被験者からfMRIデータを取得することを余儀なくされてしまうが、深層学習モデルを用いて、脳活動のモデルを構築する際に大量のデータを取得するためには、被験者の負荷ならびにコストがかかってしまうため、とても困難になっている。これを解消するために[Ngiam+10]によるマルチモーダル自己符号化器を使用し、複数の脳活動データの対応関係を取れるようにした．3人の被験者の脳活動データをそれ以外の1人の被験者の脳活動データに変換し、擬似的にデータを増やしたものを用いて、松尾ら[松尾+2016]で提案された脳活動データからキャプションを生成するシステムおよび類似画像を検索するシステムを用いて、若干ながら生成および検索精度が向上したことを確認した．
また、Lotterら[Lotter+2016]によって開発された、大脳皮質において行われているとされている予測符号化を模した動画像予測モデルであるPredNetを実装し、動画像刺激が与えられたヒト脳状態をfMRIで計測したデータと、PredNetの深層学習モデルにおける中間状態の値の間に相関関係が存在するかを調査した．本研究で用いたPredNetの構成は、状態を表すモジュールが４層になって一つの時刻を表現するものになっており、次元数が高い一つの層を除いた３層に対して、脳活動データからその状態を推定するためのRidge回帰モデルを構築し、脳活動からモジュールの状態の推定を行い、推定された値とPredNetに刺激画像を適用して得られた際の状態値との相関係数を算出した．算出された相関係数は、同時刻の状態を表現するモジュールにおいて、刺激画像を直接受取るほうに近い層から、およそ0.25、0.07、0.07となっており、一番浅い層においては、脳神経科学の見地からそれなりに相関性があると認識される、0.25の値が得られた．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
研究計画において掲げた課題の内、およそ３分の２に相当する、「脳活動データの有効活用技術の開発」、「画像刺激の脳内状態を表現する文生成」、「次時刻の状態予測による画像生成」に対して取り組み、その成果を学会報告している．
|
| 今後の研究の推進方策 |
これまでに得られた知見に基づき、引き続き脳内状態を様々なメディアで解読する手法の開発に取り組む予定である。具体的には、現在、静止画を扱っている視覚刺激に対して、動画による視覚刺激を与えた際の脳活動の状態から文生成を行なう。さらに、言語刺激として与えた音声刺激から脳内心象イメージを生成することと同時に文生成も行うことを目指す。これにより、様々なメディアを用いて他人の脳内の状態を、第三者が理解できるようにするつもりである．さらに、それらの結果を通じて脳内におけるモダリティの情報処理機構の解明へとつなげていくつもりである。
|
