| 研究課題/領域番号 |
26870935
|
|---|
| 研究機関 | 株式会社国際電気通信基礎技術研究所 |
|---|
研究代表者 |
堀川 友慈 株式会社国際電気通信基礎技術研究所, 脳情報通信総合研究所, 研究員 (60721876)
|
|---|
| 研究期間 (年度) |
2014-04-01 – 2017-03-31
|
| キーワード | 脳情報デコーディング / 感性情報 / 高次認知機能 |
|---|
| 研究実績の概要 |
本研究は，ヒトが視覚対象に対して抱く印象の情報を，画像観察時の脳活動計測し，得られたデータを多変量解析の手法を用いて解析することによって解読することを目指すものである．従来の脳情報デコーディングで用いられている機械学習の判別モデルを利用して，脳情報の解読ができるかどうかを検証することに加え，より多様な印象を解読可能にするための解析手法として，解読したい情報が多数の分解可能な要素の組み合わせによって表現されているとみなし，その各要素を脳活動から解読したものを，再度組み合わせることで予測するというアプローチを用いる．現在までに，様々な印象を喚起されている時の脳活動を計測するために，物体・風景画像，質感画像，絵画画像，情動を喚起する画像などを見せた時の脳活動の計測を行い，脳活動から各画像の情報を予測可能かどうか検証した．従来の脳情報デコーディングの技術を用いることで，質感や絵画の作家，情動情報などを，脳の様々な部位から予測可能であることを確認した．さらに，上記のアプローチを用いることで，物体や風景のカテゴリ情報に関して，少数の学習サンプルからモデルの学習に用いていないカテゴリに対しても効率的な予測ができることを示した．物体や風景情報の解析では，モデルが活用している脳部位を精査することで，予測に重要な部位を可視化することにも成功しており，同様の解析アプローチをより高次の印象情報に対しても利用することで，印象情報が表現されている脳部位を特定することにつなげることができると思われる．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
研究計画時点において，当該年度までに印象情報を脳活動から予測可能かどうかを検証し，得られた結果から，脳のどの部位において多様な印象が表現されているかを調べる計画であった．これらの計画に対して，現在までに，物体や風景の画像，多様な質感を喚起する画像，様々な印象を喚起する絵画画像，ネガティブな印象やポジティブな印象を与えるための画像セット(international affective picture system)から選ばれた画像を提示した時の全脳の脳活動計測を終えた．得られた脳計測データに対して脳情報デコーディング技術を適用することにより，多様な物体・風景情報，質感のカテゴリ，絵画の作家，ネガティブ・ポジティブの情報を多様な脳部位から解読可能であることを確認した．さらに，脳情報デコーディングモデルの学習に使用していないカテゴリに対しても情報の予測を可能にするアプローチであるモジュラ・デコーディングの技術と，近年様々な分野で有用性が認められてきた深層学習モデルによる特徴抽出を組み合わせることで，任意の物体や風景画像を予測することができることを確認した．この解析において得られた予測モデルの重みパラメータを精査することで，予測対象とする情報の複雑さに応じて，予測に活用される脳部位の違いが生じることを確認し，同様のアプローチをさらに高次の印象情報に援用する準備ができた．さらに，特徴抽出に利用する深層学習モデルの各ユニットがどのような視覚情報を表現しているかを可視化する技術を用いて，物体・風景を識別するよう学習させた深層学習モデルの各ユニットの特徴表現を可視化することに成功した．この技術を用いて，印象情報を識別するよう学習させた深層学習モデルを解析することで，どのような要素情報に分解することが印象情報の解読に有用かを調べるための準備ができた．
|
| 今後の研究の推進方策 |
現在までの解析において，従来のデコーディング手法を活用することで，印象情報の解読をある程度の精度で達成することが確認できた．今後の研究方策としては，モジュラ・デコーディングの技術を用いたアプローチを利用して，より多様な印象情報に対しても脳活動からの解読を可能かどうかを検証する．そのために，深層学習モデルを用いた画像特徴の抽出や，クラウドソーシングを用いた画像への言語情報のタグ付けを行うことで，印象情報を要素に分解する有用な手法の探索をするとともに，それらの要素がどの脳部位からどの程度の精度で予測可能であるかを調べていく予定である．さらに，現在までに得られている深層学習モデルとモジュラ・デコーディングの組み合わせによって達成された物体・風景情報の解読技術についての学会発表や論文投稿を行う．また，これらの解析に利用したデータやコードの公開をするために，ホームページ作製の準備を進める．
|
| 次年度使用額が生じた理由 |
研究計画時に予定していた実験施設とは異なる実験施設でfMRIを利用可能になったため，実験費用や実験被験者への謝金等が不要になった．その分を物品費の購入に充てたため，予定していた使用額と実際に使用した額との間に差が生じ，次年度使用額が生じた．
|
| 次年度使用額の使用計画 |
次年度以降，今まで無料で利用可能であったfMRI実験施設がfMRI計測費用を徴収することになり，実験費用が必要となるため，必要に応じて実験費及び被験者謝金にあてる．また，解析や研究遂行の効率を向上させるための物品や，すでに計測済みのデータを解析する際に有用となる画像への言語ラベル付与のための作業依頼資金としての使用も検討する．
|
