2017 Fiscal Year Annual Research Report
多様層情報の脳内処理機構の解明に基づく脳内情報読解技術の深化と応用技術の開発
| Project/Area Number |
17H01797
|
|---|
| Research Institution | Ochanomizu University |
|---|
Principal Investigator |
小林 一郎 お茶の水女子大学, 基幹研究院, 教授 (60281440)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
西本 伸志 国立研究開発法人情報通信研究機構, 脳情報通信融合研究センター脳情報通信融合研究室, 主任研究員 (00713455)
西田 知史 国立研究開発法人情報通信研究機構, 脳情報通信融合研究センター脳情報通信融合研究室, 研究員 (90751933)
|
|---|
| Project Period (FY) |
2017-04-01 – 2020-03-31
|
| Keywords | 深層学習モデル / fMRIデータ / マルチモーダル自己符号化器 / 予測符号化 |
|---|
| Outline of Annual Research Achievements |
脳の個体差の関係から、同一被験者からfMRIデータを取得することを余儀なくされてしまうが、深層学習モデルを用いて、脳活動のモデルを構築する際に大量のデータを取得するためには、被験者の負荷ならびにコストがかかってしまうため、とても困難になっている。これを解消するために[Ngiam+10]によるマルチモーダル自己符号化器を使用し、複数の脳活動データの対応関係を取れるようにした．3人の被験者の脳活動データをそれ以外の1人の被験者の脳活動データに変換し、擬似的にデータを増やしたものを用いて、松尾ら[松尾+2016]で提案された脳活動データからキャプションを生成するシステムおよび類似画像を検索するシステムを用いて、若干ながら生成および検索精度が向上したことを確認した．
また、Lotterら[Lotter+2016]によって開発された、大脳皮質において行われているとされている予測符号化を模した動画像予測モデルであるPredNetを実装し、動画像刺激が与えられたヒト脳状態をfMRIで計測したデータと、PredNetの深層学習モデルにおける中間状態の値の間に相関関係が存在するかを調査した．本研究で用いたPredNetの構成は、状態を表すモジュールが４層になって一つの時刻を表現するものになっており、次元数が高い一つの層を除いた３層に対して、脳活動データからその状態を推定するためのRidge回帰モデルを構築し、脳活動からモジュールの状態の推定を行い、推定された値とPredNetに刺激画像を適用して得られた際の状態値との相関係数を算出した．算出された相関係数は、同時刻の状態を表現するモジュールにおいて、刺激画像を直接受取るほうに近い層から、およそ0.25、0.07、0.07となっており、一番浅い層においては、脳神経科学の見地からそれなりに相関性があると認識される、0.25の値が得られた．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
研究計画において掲げた課題の内、およそ３分の２に相当する、「脳活動データの有効活用技術の開発」、「画像刺激の脳内状態を表現する文生成」、「次時刻の状態予測による画像生成」に対して取り組み、その成果を学会報告している．
|
| Strategy for Future Research Activity |
これまでに得られた知見に基づき、引き続き脳内状態を様々なメディアで解読する手法の開発に取り組む予定である。具体的には、現在、静止画を扱っている視覚刺激に対して、動画による視覚刺激を与えた際の脳活動の状態から文生成を行なう。さらに、言語刺激として与えた音声刺激から脳内心象イメージを生成することと同時に文生成も行うことを目指す。これにより、様々なメディアを用いて他人の脳内の状態を、第三者が理解できるようにするつもりである．さらに、それらの結果を通じて脳内におけるモダリティの情報処理機構の解明へとつなげていくつもりである。
|
