• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2018 年度 実績報告書

ヒト脳及び人工脳ネットワークにおける多感覚的な物体属性情報の表現

研究課題

研究課題/領域番号 17H01756
研究機関生理学研究所

研究代表者

郷田 直一  生理学研究所, システム脳科学研究領域, 助教 (30373195)

研究期間 (年度) 2017-04-01 – 2022-03-31
キーワード視覚 / 多感覚 / 物体認識 / 深層学習 / fMRI
研究実績の概要

本研究の目的は、脳が、視覚入力から非視覚的な物体属性(物体表面・内部の物理的性質や状態)や概念的知識(物体の機能や扱い方など)についての情報へとどのように変換し、認識に利用しているのかを明らかにすることである。特に、次の仮説、「腹側高次視覚野は、「見て触れる」、「見て味わう」といった多感覚の経験を通して視覚特徴と非視覚属性(聴覚・触覚・嗅覚・味覚的物体特性)との統計的相関を学習し、非視覚的物体属性と相関する視覚特徴を抽出・表現している」に関して画像工学、実験心理学的解析、脳機能イメージングによる脳情報表現解読、および人工深層ニューラルネットワークを用いたシミュレーションによる多角的に検証する。
本年度においては、物体カテゴリや素材カテゴリの画像分類を学習済みの深層畳み込みニューラルネットワーク(CNN)の各層の視覚特徴と非視覚属性(触覚など)との関係をより網羅的に調べた。その結果、特定の階層のCNN特徴集団の反応といくつかの非視覚属性の間によい相関関係があることなどが確認できた。また、個々のCNN特徴に注目して解析を進め、種々の材質属性ごとに重要と考えられるCNN特徴を絞り込むことができた。さらに、局所CNN特徴の空間平均といった単純な統計量が非視覚属性と良い対応を示したことに注目し、CNN特徴のヒストグラム(空間平均および分散)を操作することで物体画像の触覚属性の印象を変化させる画像合成手法の開発を進展させた。

現在までの達成度 (区分)
現在までの達成度 (区分)

3: やや遅れている

理由

本年度においてはCNN特徴と触覚属性の関係解析およびCNN特徴統計量に基づく触覚属性操作を中心に進め、本課題の計画の一つであった非視覚属性の操作手法の開発については一定の進展が得られた。しかし本手法にはまだ不安定な側面もあり、任意の物体画像に適用できる段階ではない。このため、引き続き開発、改良を進めていく必要があると考えている。また、本手法は触覚属性以外にも適用可能であると考えられるが、その可能性を検証することも課題として残っている。以上を踏まえ、非視覚属性の操作画像を用いた心理実験ならびに脳活動計測は次年度以降に実施する予定である。

今後の研究の推進方策

本年度において開発した非視覚属性操作画像の合成手法の妥当性、一般性について検証し、改良を進める。このため、本手法により各種非視覚属性を操作した画像を用いて心理実験を実施し、実際に属性操作が実現できているかを確認する。さらに同画像に対する脳活動を計測するfMRI実験の開始を目指し、準備を進める。また、バーチャルリアリティ環境下で、物体や環境の知覚における視覚属性と非視覚属性、特に触覚の間の相互作用を調べる新たな実験を計画している。

  • 研究成果

    (3件)

すべて 2018

すべて 雑誌論文 (2件) (うち査読あり 2件、 オープンアクセス 1件) 学会発表 (1件) (うち招待講演 1件)

  • [雑誌論文] Dependence of behavioral performance on material category in an object grasping task with monkeys2018

    • 著者名/発表者名
      Yokoi I, Tachibana A, Minamimoto T, Goda N, Komatsu H
    • 雑誌名

      Journal of Neurophysiology

      巻: 120 ページ: 553-564

    • DOI

      10.1152/jn.00748.2017

    • 査読あり
  • [雑誌論文] Neural mechanisms of material perception: Quest on Shitsukan2018

    • 著者名/発表者名
      Komatsu H, Goda N
    • 雑誌名

      Neuroscience

      巻: 392 ページ: 329-347

    • DOI

      10.1016/j.neuroscience.2018.09.001

    • 査読あり / オープンアクセス
  • [学会発表] 脳が作り出す「ものの質感」のイメージング2018

    • 著者名/発表者名
      郷田 直一
    • 学会等名
      第71回日本画像学会イメージングカフェ
    • 招待講演

URL: 

公開日: 2019-12-27  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi