2018 Fiscal Year Annual Research Report
ヒト脳及び人工脳ネットワークにおける多感覚的な物体属性情報の表現
| Project/Area Number |
17H01756
|
|---|
| Research Institution | National Institute for Physiological Sciences |
|---|
Principal Investigator |
郷田 直一 生理学研究所, システム脳科学研究領域, 助教 (30373195)
|
|---|
| Project Period (FY) |
2017-04-01 – 2022-03-31
|
| Keywords | 視覚 / 多感覚 / 物体認識 / 深層学習 / fMRI |
|---|
| Outline of Annual Research Achievements |
本研究の目的は、脳が、視覚入力から非視覚的な物体属性（物体表面・内部の物理的性質や状態）や概念的知識（物体の機能や扱い方など）についての情報へとどのように変換し、認識に利用しているのかを明らかにすることである。特に、次の仮説、「腹側高次視覚野は、「見て触れる」、「見て味わう」といった多感覚の経験を通して視覚特徴と非視覚属性（聴覚・触覚・嗅覚・味覚的物体特性）との統計的相関を学習し、非視覚的物体属性と相関する視覚特徴を抽出・表現している」に関して画像工学、実験心理学的解析、脳機能イメージングによる脳情報表現解読、および人工深層ニューラルネットワークを用いたシミュレーションによる多角的に検証する。
本年度においては、物体カテゴリや素材カテゴリの画像分類を学習済みの深層畳み込みニューラルネットワーク(CNN)の各層の視覚特徴と非視覚属性（触覚など）との関係をより網羅的に調べた。その結果、特定の階層のCNN特徴集団の反応といくつかの非視覚属性の間によい相関関係があることなどが確認できた。また、個々のCNN特徴に注目して解析を進め、種々の材質属性ごとに重要と考えられるCNN特徴を絞り込むことができた。さらに、局所CNN特徴の空間平均といった単純な統計量が非視覚属性と良い対応を示したことに注目し、CNN特徴のヒストグラム（空間平均および分散）を操作することで物体画像の触覚属性の印象を変化させる画像合成手法の開発を進展させた。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
本年度においてはCNN特徴と触覚属性の関係解析およびCNN特徴統計量に基づく触覚属性操作を中心に進め、本課題の計画の一つであった非視覚属性の操作手法の開発については一定の進展が得られた。しかし本手法にはまだ不安定な側面もあり、任意の物体画像に適用できる段階ではない。このため、引き続き開発、改良を進めていく必要があると考えている。また、本手法は触覚属性以外にも適用可能であると考えられるが、その可能性を検証することも課題として残っている。以上を踏まえ、非視覚属性の操作画像を用いた心理実験ならびに脳活動計測は次年度以降に実施する予定である。
|
| Strategy for Future Research Activity |
本年度において開発した非視覚属性操作画像の合成手法の妥当性、一般性について検証し、改良を進める。このため、本手法により各種非視覚属性を操作した画像を用いて心理実験を実施し、実際に属性操作が実現できているかを確認する。さらに同画像に対する脳活動を計測するfMRI実験の開始を目指し、準備を進める。また、バーチャルリアリティ環境下で、物体や環境の知覚における視覚属性と非視覚属性、特に触覚の間の相互作用を調べる新たな実験を計画している。
|
Research Products
(3 results)
