2019 Fiscal Year Annual Research Report
Data-mining of shitsukan representation using brain, image, and text data
| Project Area | Understanding human recognition of material properties for innovation in SHITSUKAN science and technology |
|---|
| Project/Area Number |
15H05920
|
|---|
| Research Institution | Advanced Telecommunications Research Institute International |
|---|
Principal Investigator |
神谷 之康 株式会社国際電気通信基礎技術研究所, 脳情報通信総合研究所, 研究室長 (50418513)
|
|---|
| Project Period (FY) |
2015-06-29 – 2020-03-31
|
| Keywords | 質感 / 脳情報デコーディング / 深層ニューラルネットワーク / 視覚 |
|---|
| Outline of Annual Research Achievements |
本研究課題では、大規模データを用いたデータマイニング手法により質感情報表現を発見するアプローチの創出を目指してきた。これまでの研究から、ヒトの脳活動パターンと深層ニューラルネットワーク(DNN)の信号パターンの間に情報表現の階層的相同性を発見し、質感画像の特徴を脳から抽出することに成功した。また、感情を惹起する動画や環境音刺激を用いて得られた脳データをもとに、エンコード・デコード解析を行い、情動的質感の脳表現を定量化した。これらの成果を論文として取りまとめる作業を進めるとともに、本年度は、DNNと脳の間の階層的な情報表現の類似性を定量化するbrain hierarchy score（BHスコア）を考案し、29種類の異なる構造を持つDNNと脳との類似性を比較する解析を進めた。その結果、各DNNのBHスコアと物体認識精度は負に相関するという意外な結果が得られた。このことは、高い物体認識精度を実現するようなDNNの構造上の工夫が、脳との階層的な類似性に必ずしもつながっていないことを示している。ネットワークの構造を比較すると、全結合層を持つDNNほど高いBHスコアを持ち、全結合層の活動値は高次の視覚野からよく予測されることがわかった。これらの結果から、近年のDNNは、全体的な形状の認識ではなく、物体カテゴリー内で共通する局所的な特徴（テクスチャ等）を抽出することに特化することで、高いパフォーマンスを達成しているのではないかと推測される。
当初のメンバーに加え、研究スタッフ・学生（塚本光昭、田中美里、SHEN Guohua、VAFAEI Shirin, PARK Jongyun, CHENG Fan）らもこのプロジェクトに参加した。
|
| Research Progress Status |
令和元年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
令和元年度が最終年度であるため、記入しない。
|
