2017 Fiscal Year Annual Research Report
Data-mining of shitsukan representation using brain, image, and text data
| Project Area | Understanding human recognition of material properties for innovation in SHITSUKAN science and technology |
|---|
| Project/Area Number |
15H05920
|
|---|
| Research Institution | Advanced Telecommunications Research Institute International |
|---|
Principal Investigator |
神谷 之康 株式会社国際電気通信基礎技術研究所, 脳情報通信総合研究所, 研究室長 (50418513)
|
|---|
| Project Period (FY) |
2015-06-29 – 2020-03-31
|
| Keywords | 認知科学 / ブレイン・デコーディング / fMRI / 認知神経科学 / 視覚 / 機械学習 |
|---|
| Outline of Annual Research Achievements |
本研究課題では、大規模データを用いたデータマイニング的手法により質感情報表現を発見するアプローチの創出を目指している。これまでの研究から、画像を見ている時のヒトの脳活動パターンと、同じ画像を入力としたときの深層ニューラルネットワーク（DNN）の信号パターンの間に相同性を発見し、脳からDNNへの信号変換が可能であることを見出した。このことは、データ駆動的に得られる膨大な数のDNN特徴表現の中にヒトの脳活動と密接に結びついた特徴が多数含まれることを示唆している。この方法により、質感を生み出す多彩な特徴とその脳内表現にアプローチすることができると考えられる。
今年度われわれは、トップダウンの視覚情報処理が脳内の階層的特徴表現に与える影響について調べた。この研究では、低周波フィルタによりブラー処理した画像（ブラー画像）を刺激として脳活動を計測し、そこから上記と同じアルゴリズムでDNN特徴量をデコードした。デコードされたDNN特徴量を、ブラー画像自体のDNN特徴量とブラー処理する前の元画像のDNN特徴量それぞれと比較した。その結果、脳からデコードされたDNN特徴量は、刺激画像と比較して元画像のDNN特徴量により近くなることが見出された。これは、脳がブラー処理で失われた特徴を補完して表現していることを示している。ぼやけた画像を知覚する際には、トップダウン処理により補完された質感が意識に上っている可能性が示唆された。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
ブラー画像の脳内情報表現のシャープ化現象に関する研究は予想以上に進展し、論文も国際誌 eNeuroに投稿した（2018年4月に受理）。
|
| Strategy for Future Research Activity |
標準化されたプロトコルでfMR実験を実施し、スケーラブルなデータベースを構築して研究をさらに加速させる。また、これまでに開発したアプローチを画像生成や言語情報にも拡張し、多様な質感認知に関わる階層的情報表現を明らかにする。
|
Research Products
(5 results)
