2019 Fiscal Year Annual Research Report
多様層情報の脳内処理機構の解明に基づく脳内情報読解技術の深化と応用技術の開発
| Project/Area Number |
17H01797
|
|---|
| Research Institution | Ochanomizu University |
|---|
Principal Investigator |
小林 一郎 お茶の水女子大学, 基幹研究院, 教授 (60281440)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
西本 伸志 国立研究開発法人情報通信研究機構, 脳情報通信融合研究センター脳情報通信融合研究室, 主任研究員 (00713455)
西田 知史 国立研究開発法人情報通信研究機構, 脳情報通信融合研究センター脳情報通信融合研究室, 主任研究員 (90751933)
|
|---|
| Project Period (FY) |
2017-04-01 – 2020-03-31
|
| Keywords | 深層学習モデル / fMRIデータ / 脳内解読 / 予測符号化 / 脳内状態推定 |
|---|
| Outline of Annual Research Achievements |
動画像刺激の脳活動データからキャプションを生成するために、事前学習したS2VTモデル(動画説明文生成手法)を援用してシステムの開発に注力した。しかし、訓練データである動画像と脳活動データとして与えられる動画像刺激の画像との内容の不一致の問題があり、適切な文章の生成には至らなかった。そのため、対象を静止画像刺激の脳活動データからキャプションを生成するシステムの援用に切り替え、さらに脳活動データを大量の画像データ（MS COCO）から取得されたBOLD5000に切り替え、実験を行った。生成される文について、訓練データによる再現では高い精度が得られたものの、評価データでは良い結果が得られることもあればそうでないこともあり、結果は安定しなかった。また、画像を刺激として与えた際の脳内状態を推定するために、これまで深層学習モデルで得られた、画像特徴量を抽出した中間層の状態に対して脳活動データからの回帰により推定を行った結果に基づいて文生成を行っていたが、それとは逆に、深層学習モデルで得られた中間層の状態から脳内のボクセルの状態を推定する回帰モデルを構築し、脳内状態の推定を行った。得られた推定結果と実際に観測された脳内状態の値との相関係数を計測した。このことから、大脳皮質全体にわたって高い相関係数が得られることを確認した。
また、昨年度に引き続き、Lotterら[Lotter+2016]によって開発されたPredNetを予測符号化の深層学習モデルとして採用し、動画像刺激が与えられたヒト脳状態をfMRIで計測したデータと、PredNetの深層学習モデルにおける中間状態の値の間に相関関係の調査についてさらに精度の改善を行った。これにより昨年度における精度の最高値が0.25付近であったものを0.35付近まで高めることができた。
|
| Research Progress Status |
令和元年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
令和元年度が最終年度であるため、記入しない。
|
