| 研究課題/領域番号 |
17H01756
|
|---|
| 研究機関 | 生理学研究所 |
|---|
研究代表者 |
郷田 直一 生理学研究所, システム脳科学研究領域, 助教 (30373195)
|
|---|
| 研究期間 (年度) |
2017-04-01 – 2022-03-31
|
| キーワード | 視覚 / 多感覚 / 物体認識 / fMRI / 深層学習 |
|---|
| 研究実績の概要 |
本研究の目的は、脳が、視覚入力から非視覚的な物体属性（物体表面・内部の物理的性質や状態）や概念的知識（物体の機能や扱い方など）についての情報へとどのように変換し、認識に利用しているのかを明らかにすることである。特に、次の仮説、「腹側高次視覚野は、「見て触れる」、「見て味わう」といった多感覚の経験を通して視覚特徴と非視覚属性（聴覚・触覚・嗅覚・味覚的物体特性）との統計的相関を学習し、非視覚的物体属性と相関する視覚特徴を抽出・表現している」に関して画像工学、実験心理学的解析、脳機能イメージングによる脳情報表現解読、および人工深層ニューラルネットワークを用いたシミュレーションによる多角的に検証する。
本年度においては、一般物体属性に関する多感覚データベースの整備と、物体属性の感覚モダリティ相関の解析を計画しており、これらを進展させた。特に、現有の視覚・触覚属性のデータベースを使用し、様々な視覚特徴と触覚属性との関係について網羅的な解析を行った。視覚特徴の解析には、大規模画像データベースを用いて物体カテゴリや素材カテゴリの分類を学習済みの深層畳み込みニューラルネットワーク(CNN)を用いた。これまでに、これらネットワークの中間層、特に高次畳み込み・プーリング層において、いくつかの触覚属性に相関する視覚特徴が現れることを示唆する結果が得られている。また、それら視覚特徴を選択的に操作して物体画像の触覚属性の印象を変化させる画像合成手法の開発にも着手した。本結果の一部は学会にて発表した。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
3: やや遅れている
理由
当初計画では、本年度において一般物体属性に関する多感覚データベースの拡張についても予定していた。しかし、現有の視触覚データベースを用いて予備的な解析を進めたところ予想外の結果が得られたため、この解析を優先させることとし、サンプル数の大規模化と他の感覚モダリティへの拡張は次年度以降に行うこととした。
|
| 今後の研究の推進方策 |
これまでに得られた知見の一般性について検証を進める。このため、本年度において多感覚データベースの拡張を進める。本データベースは現時点において、数十の物体についての画像サンプルと視覚属性（色・光沢など）および触覚属性（硬さなど）からなる。これを触覚以外の感覚属性へ拡張するとともに、大規模化もすすめる。これらを用いて、触覚以外の非視覚属性を含め、より多くの物体について高次視覚特徴と非視覚的な感覚属性との関係について解析する。同時に、物体属性を操作する画像合成技術の開発についても進展させる。さらに、平成30年度に計画していたfMRIによる脳活動計測実験の開始を目指し、準備を進める。
|
