• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2017 年度 実績報告書

信号変調に基づく視聴触覚の質感認識機構

計画研究

研究領域多様な質感認識の科学的解明と革新的質感技術の創出
研究課題/領域番号 15H05915
研究機関日本電信電話株式会社NTTコミュニケーション科学基礎研究所

研究代表者

西田 眞也  日本電信電話株式会社NTTコミュニケーション科学基礎研究所, 人間情報研究部, 主幹研究員 (20396162)

研究分担者 古川 茂人  日本電信電話株式会社NTTコミュニケーション科学基礎研究所, 人間情報研究部, 主幹研究員 (90396169)
鈴木 匡子  東北大学, 大学院医学系研究科, 教授 (20271934)
柳井 啓司  電気通信大学, 大学院情報理工学研究科, 教授 (20301179)
研究期間 (年度) 2015-06-29 – 2020-03-31
キーワード質感 / 情報工学 / 認知科学 / 神経科学 / 感性情報学
研究実績の概要

ものの質感の情報がものと環境と観察者の相互作用が生み出す感覚信号の複雑な変調のパタンの中に含まれるという考えに基づいて、視・聴・触覚の多様な質感を生み出す変調情報の特定と、その変調情報の抽出処理メカニズムの同定を目指して研究を進めている。
視覚と触覚を担当する代表の西田チームでは、物体表面質感と物体形状を同時推定する視覚計算の原理に関する仮説を提案し、立体眼鏡無しで見たときにボケを生じない新方式の両眼立体視を開発した。触覚運動の検出機構の分析や、主観的な触り心地を触行動から評価する研究を進めた。
聴覚を担当する分担者の古川チームでは、環境音や音声のデータベースを用い、その処理に最適化された深層ニューラルネットワークが、、聴覚系の神経細胞と同様な特性を持つことを明らかにした。これは聴覚系が自然音を効率的に処理するために最適化されたことを示唆する。このほか、室内残響への聴覚系の短期的な適応に関する昨年度の研究を発展させた。
質感認知の臨床研究を進める分担者の鈴木チームでは、レビー小体型認知症(DLB)およびアルツハイマー型認知症(AD)の視覚性質感認知について検討した。その結果、DLB、ADともに、他の視覚機能とは独立して視覚性質感認知が障害されることが明らかになった。障害を認め、特にDLBでは認知症のごく初期から視覚性質感認知障害を認め、診断の一助になる可能性が示された。
分担者の柳井チームでは、Convolutional Neural Networkを用いた質感変換技術とその応用について、昨年度に引き続き取り組んだ。特に、言葉によって画像の質感を変化させるネットワークおよび、食事画像を異なる10種類の食事に変換する画像変換ネットワークについて重点的に研究を行った。

現在までの達成度 (区分)
現在までの達成度 (区分)

1: 当初の計画以上に進展している

理由

プロジェクションマッピングによる実物の質感操作の研究が、まったく新しい両眼立体視の提示方法の開発に繋がった。濡れ具合の操作、解像度以下の細かさの操作、質感と形状の同時操作、触覚運動などに関して、順調に論文が公刊された。古川チームで進めた機械学習技術による聴覚生理メカニズムへのアプローチは、他班との交流に触発された結果生まれた新しい研究パラダイムである。鈴木チームも、質感認識の臨床研究のパイオニアとして、重要な論文を公刊した。柳井グループは、限定された語彙での言葉による画像の質感を変化させる方法、および形状が互いに類似している丼物同士で食事の種類を自由に変える方法を実現した。

今後の研究の推進方策

西田チームは、表面反射特性と形状の同時推定のメカニズムについての検討を継続するとともに、深層学習を用いた質感認識メカニズムの推定、クラウドソーシングを用いた大規模心理実験、視覚メカニズムとの対比による触覚メカニズムの解析を進める。視覚や触覚による質感認識に関して得られた科学的知見を新しいメディア技術の開発につなげる。
古川チームは、これまでに当班で作成してきたバイノーラル環境音データベース、および、前年度に進展した機械学習技術に基づく聴覚神経科学研究を組み合わせて、両耳メカニズム解明に向けて発展させる。
鈴木チームは、AD,DLBの触覚性質感認知についても検討を進め、視覚性質感認知との関連を明らかにする。また、DLBと病態的に連続するパーキンソン病において、視覚性および触覚性質感認知がどう変化するかを調べる。以上を統合することにより、大脳の後方が主として損傷される認知症における質感認知とその障害のメカニズムを明らかにする。
柳井チームは、昨年度までの言葉によって画像の質感を変化させるネットワークの研究では学習データ量が限られており、画像変換語彙が限定されていたという問題点があったので、本年度はWeb画像収集を大規模に行い多様な語彙に対応可能な変換ネットワークの実現を目指す。また、食事画像変換に関しては,形状が類似した食事種類のみの変換ではなく,形状が異なる食事同士や食事の量、見た目の美味しさなど様々な属性に関して自由な変換ができるような方法および必要なデータセットの構築を行う予定である。

  • 研究成果

    (66件)

すべて 2018 2017 その他

すべて 雑誌論文 (14件) (うち国際共著 1件、 査読あり 13件、 オープンアクセス 10件) 学会発表 (48件) (うち国際学会 22件、 招待講演 14件) 備考 (1件) 産業財産権 (3件)

  • [雑誌論文] 「多元質感知」における質感研究2018

    • 著者名/発表者名
      西田 眞也
    • 雑誌名

      日本画像学会誌

      巻: 57 ページ: 189~196

    • DOI

      10.11370/isj.57.189

  • [雑誌論文] Material and shape perception based on two types of intensity gradient information2018

    • 著者名/発表者名
      *Sawayama M, Nishida S,
    • 雑誌名

      PLOS Computational Biology

      巻: 印刷中 ページ: 印刷中

    • 査読あり / オープンアクセス
  • [雑誌論文] Estimating tactile perception by observing explorative hand motion of others2018

    • 著者名/発表者名
      Yokosaka T, Kuroki S, Watanabe J, Nishida S,
    • 雑誌名

      IEEE Transactions on Haptics

      巻: 印刷中 ページ: 印刷中

    • 査読あり / オープンアクセス
  • [雑誌論文] Human tactile detection of within- and inter-finger spatiotemporal phase shift of low-frequency vibrations2018

    • 著者名/発表者名
      Kuroki S, Nishida S
    • 雑誌名

      Scientific Reports

      巻: 8 ページ: 4288:1-10

    • DOI

      10.1038/s41598-018-22774-z

    • 査読あり / オープンアクセス
  • [雑誌論文] Visual texture agnosia in dementia with Lewy bodies and Alzheimer’s disease2018

    • 著者名/発表者名
      Oishi Y, Imamura T, Shimomura T, Suzuki K
    • 雑誌名

      Cortex

      巻: 103 ページ: 277-290

    • DOI

      10.1016/j.cortex.2018.03.018.

    • 査読あり
  • [雑誌論文] Contour junctions defined by dynamic image deformations enhance perceptual transparency2017

    • 著者名/発表者名
      Kawabe T, Nishida S
    • 雑誌名

      Journal of Vision

      巻: 17 ページ: 15; 1-8

    • DOI

      10.1167/17.13.15

    • 査読あり / オープンアクセス
  • [雑誌論文] 質感認知研究のための実験手法:テクスチャ合成による3次元形状の生成2017

    • 著者名/発表者名
      澤山正貴、岡部誠、西田眞也、土橋宣典
    • 雑誌名

      基礎心理学研究

      巻: 36 ページ: 56-65

    • DOI

      10.14947/psychono.36.6

    • 査読あり / オープンアクセス
  • [雑誌論文] Animating Static Objects by Illusion-Based Projection Mapping2017

    • 著者名/発表者名
      Fukiage T, Kawabe T, Sawayama M, Nishida S
    • 雑誌名

      Journal of the Society for Information Display

      巻: 25 ページ: 434-443

    • DOI

      10.1002/jsid.572

    • 査読あり
  • [雑誌論文] A new analytical method for characterizing non-linear visual processes with stimuli of arbitrary distribution: theory and applications2017

    • 著者名/発表者名
      Hayashi R, Watanabe 0, Yokoyama H, Nishida S
    • 雑誌名

      Journal of Vision

      巻: 17 ページ: 14: 1-20

    • DOI

      10.1167/ 17.6.14

    • 査読あり / オープンアクセス
  • [雑誌論文] Linkage between free exploratory movements and subjective tactile ratings2017

    • 著者名/発表者名
      *Yokosaka T, Kuroki S, Watanabe J Nishida S
    • 雑誌名

      IEEE Transactions on Haptics

      巻: 10 ページ: 217-225

    • DOI

      10.1109/TOH.2016.2613055

    • 査読あり / オープンアクセス
  • [雑誌論文] Visual wetness perception based on image color statistics.2017

    • 著者名/発表者名
      Sawayama M, Adelson, EH, Nishida S
    • 雑誌名

      Journal of Vision

      巻: 17 ページ: 7: 1-24

    • DOI

      10.1167/17.5.7.

    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Human perception of sub-resolution fineness of dense textures based on image intensity statistics.2017

    • 著者名/発表者名
      Sawayama M, Nishida S, Shinya M
    • 雑誌名

      Journal of Vision

      巻: 17 ページ: 8: 1-18

    • DOI

      10.1167/17.4.8

    • 査読あり / オープンアクセス
  • [雑誌論文] Context-Dependent Effect of Reverberation on Material Perception from Impact Sound2017

    • 著者名/発表者名
      Koumura T, Furukawa S
    • 雑誌名

      Scientific Reports

      巻: 7 ページ: 16455

    • DOI

      10.1038/s41598-017-16651-4

    • 査読あり / オープンアクセス
  • [雑誌論文] Neural Style Vector を用いた絵画画像のスタイル検索2017

    • 著者名/発表者名
      松尾真, 柳井啓司
    • 雑誌名

      電子情報通信学会論文誌

      巻: J100-D, 8 ページ: 742-749

    • DOI

      10.14923/transinfj.2016IUT0002

    • 査読あり
  • [学会発表] Neural response to complex motion in macaque area MT2018

    • 著者名/発表者名
      Sanada H, Kawabe T, Nishida S, Komatsu H
    • 学会等名
      日本神経科学大会
    • 国際学会
  • [学会発表] 自然環境下における聴覚末梢の効率的符号化モデル:教師なし学習か課題最適化か?2018

    • 著者名/発表者名
      寺島裕貴, 古川茂人
    • 学会等名
      日本音響学会2018年春季研究発表会
  • [学会発表] 深層学習による質感文字生成2018

    • 著者名/発表者名
      成沢 淳史, 下田 和, 柳井 啓司
    • 学会等名
      人工知能学会全国大会
  • [学会発表] 画像内容を考慮した質感表現に基づく画像変換2018

    • 著者名/発表者名
      杉山 優, 柳井 啓司
    • 学会等名
      人工知能学会全国大会
  • [学会発表] Haptic texture perception on 3D-printed surfaces transcribed from visual natural textures2018

    • 著者名/発表者名
      Kuroki S, Sawayama M, Nishida, S
    • 学会等名
      Eurohaptics (Poster)
    • 国際学会
  • [学会発表] Perturbation tolerance of deep neural networks and humans in material recognition2018

    • 著者名/発表者名
      Liu X, Sawayama M, Hayashi R, Okatani T, Nishida S
    • 学会等名
      Vision Sciences Society
    • 国際学会
  • [学会発表] Physical-Perceptual Correspondence for Dynamic Thermal Stimulation2018

    • 著者名/発表者名
      Ho, H.-N., Sato K, Kuroki S, Watanabe J, Maeno T, Nishida S
    • 学会等名
      IEEE Haptics Symposium 2018 (IEEE Transactions on Haptics Poster Session)
    • 国際学会 / 招待講演
  • [学会発表] Linkage between free exploratory movements and subjective tactile ratings2018

    • 著者名/発表者名
      Yokosaka T, Kuroki S, Watanabe J, Nishida S,
    • 学会等名
      IEEE Haptics Symposium 2018 (IEEE Transactions on Haptics Poster Session)
    • 国際学会 / 招待講演
  • [学会発表] 質感研究が切り拓く新しい未来~リアル・バーチャルの融合~2018

    • 著者名/発表者名
      西田眞也
    • 学会等名
      平成29年度 第2回 KANSEI“感性”サロン
    • 招待講演
  • [学会発表] タブレット型端末を用いた簡易視覚検査キット2018

    • 著者名/発表者名
      細川研知、丸谷和史、西田眞也、中泊聡
    • 学会等名
      日本視覚学会2018年冬季大会
  • [学会発表] Representation of Amplitude Modulation in a Deep Neural Network Optimized for Sound Classification2018

    • 著者名/発表者名
      Koumura T, Terashima H, Furukawa S
    • 学会等名
      41st Annual MidWinter Meeting, Association for Research in Otolaryngology
    • 国際学会
  • [学会発表] Reconsidering the efficient coding model of the auditory periphery under reverberations2018

    • 著者名/発表者名
      Terashima H, Furukawa S
    • 学会等名
      41st Annual MidWinter Meeting, Association for Research in Otolaryngology
    • 国際学会
  • [学会発表] 質感を見る脳の機能の解明に向けて2017

    • 著者名/発表者名
      西田眞也
    • 学会等名
      東京理科大学脳科学研究部門第1回シンポジウム「脳と理科」
    • 招待講演
  • [学会発表] Contribution of color to material perception2017

    • 著者名/発表者名
      Nishida S
    • 学会等名
      OSA Fall Vision Meeting
    • 国際学会 / 招待講演
  • [学会発表] 脳を創る:人間と機械の質感認識2017

    • 著者名/発表者名
      西田眞也
    • 学会等名
      第25回脳の世紀シンポジウム
    • 招待講演
  • [学会発表] 裸眼で画質が劣化しない二眼式ステレオに対する視覚情報処理2017

    • 著者名/発表者名
      西田眞也, 吹上大樹, 河邉隆寛
    • 学会等名
      日本視覚学会2017年夏季大会
  • [学会発表] Rank Prize Lecture: Visual Material Perception2017

    • 著者名/発表者名
      Nishida S
    • 学会等名
      European Conference on Visual Perception
    • 国際学会 / 招待講演
  • [学会発表] Transparent surface formation from dynamic image deformation2017

    • 著者名/発表者名
      Kawabe T. & Nishida S
    • 学会等名
      European Conference on Visual Perception
    • 国際学会 / 招待講演
  • [学会発表] Hiding of Phase-Based Stereo Disparity for Ghost-Free Viewing Without Glasses2017

    • 著者名/発表者名
      *Fukiage T, Kawabe T & Nishida S
    • 学会等名
      ACM SIGGRAPH (Technical Papers)
    • 国際学会
  • [学会発表] 錯視を利用して静止物体に動きを誘導する光投影技術2017

    • 著者名/発表者名
      西田眞也, 吹上大樹, 澤山正貴, 河邉隆寛
    • 学会等名
      日本光学会LDT技術研究会
    • 招待講演
  • [学会発表] 変幻灯:静止物が動いて見えるプロジェクションマッピング2017

    • 著者名/発表者名
      西田眞也, 吹上大樹, 澤山正貴, 河邉隆寛
    • 学会等名
      第42回 光学シンポジウム
    • 招待講演
  • [学会発表] 2次元表示との完全な互換性を有したステレオ画像生成手法2017

    • 著者名/発表者名
      吹上大樹、河邉隆寛、西田眞也
    • 学会等名
      VC/GCAD合同シンポジウム2017
    • 招待講演
  • [学会発表] Modeling pleasantness rating for tactile stimuli by stroking and pushing motions2017

    • 著者名/発表者名
      Yokosaka T, Kuroki S, Watanabe J, Nishida, S
    • 学会等名
      IEEE World Haptics (Work in Progress)
    • 国際学会
  • [学会発表] Envelope wave modulates not only amplitude but also perceived frequency of carrier wave2017

    • 著者名/発表者名
      Kuroki S, Nishida, S
    • 学会等名
      IEEE World Haptics (Work in Progress)
    • 国際学会
  • [学会発表] Perceiving shape of thin translucent objects from spatial transmittance variation2017

    • 著者名/発表者名
      Sawayama M, Fukiage T, Nishida, S
    • 学会等名
      Vision Sciences Society
    • 国際学会
  • [学会発表] Spatial configuration modulates perceptual transparency from dymamic image deformation2017

    • 著者名/発表者名
      Kawabe T, Nishida, S
    • 学会等名
      Vision Sciences Society
    • 国際学会
  • [学会発表] Auditory-system-like representation of amplitude modulation revealed by the “neurophysiology” of a deep neural network2017

    • 著者名/発表者名
      Koumura T, Terashima H, Furukawa S
    • 学会等名
      17th China-Japan-Korea Joint Workshop on Neurobiology and Neuroinformatics
    • 国際学会
  • [学会発表] 神経生理学的手法による深層ニューラルネットワークの周波数特性解析2017

    • 著者名/発表者名
      上村 卓也, 寺島 裕貴, 古川 茂人
    • 学会等名
      日本音響学会, 秋季研究発表会
  • [学会発表] Correspondence between subjective frisson feeling and pupillary response by material sounds2017

    • 著者名/発表者名
      Liao HI, Nakatani M, Miyazaki H, Furukawa S
    • 学会等名
      日本音響学会 秋季研究発表会
  • [学会発表] 自然音の考慮による聴覚末梢教師なし学習モデルの再考2017

    • 著者名/発表者名
      寺島裕貴, 古川茂人
    • 学会等名
      日本音響学会2017年秋季研究発表会
  • [学会発表] 深層ニューラルネットワークの聴覚神経生理学:音の振幅変調・時間スペクトル変調の表現2017

    • 著者名/発表者名
      上村 卓也, 寺島 裕貴, 古川 茂人
    • 学会等名
      日本神経回路学会 第27回全国大会
  • [学会発表] Reconsidering the sparse coding model for the auditory periphery2017

    • 著者名/発表者名
      Terashima H, Furukawa S
    • 学会等名
      第27回日本神経回路学会全国大会 (JNNS2017)
  • [学会発表] 神経生理学的手法による深層ニューラルネットワークの分析 -時間変調・スペクトル変調の表現-2017

    • 著者名/発表者名
      上村 卓也, 寺島 裕貴, 古川 茂人
    • 学会等名
      日本音響学会 聴覚研究会
  • [学会発表] 現実的な残響の考慮による自然音スパース符号化モデルの再評価2017

    • 著者名/発表者名
      寺島裕貴, 古川茂人
    • 学会等名
      日本音響学会 聴覚研究会
  • [学会発表] Sensing frisson by material sounds2017

    • 著者名/発表者名
      Liao HI, Nakatani M, Miyazaki H, Furukawa S
    • 学会等名
      Association for the Scientific Study of Consciousness (ASSC)
  • [学会発表] 自然残響の考慮による聴覚音声スパース符号化再考2017

    • 著者名/発表者名
      寺島裕貴, 古川茂人
    • 学会等名
      第31回人工知能学会全国大会 (JSAI2017)
  • [学会発表] 聴覚系モデルを用いた音のテクスチャ変換2017

    • 著者名/発表者名
      上村卓也, 寺島裕貴, 古川茂人
    • 学会等名
      第31回人工知能学会全国大会 (JSAI2017)
  • [学会発表] 視空間認知障害と共に生きる -10年の経過-2017

    • 著者名/発表者名
      鈴木匡子
    • 学会等名
      第41回日本高次脳機能障害学会学術総会
    • 招待講演
  • [学会発表] 視覚性対象認知の神経基盤2017

    • 著者名/発表者名
      鈴木匡子
    • 学会等名
      生理学研究所研究会@東北
    • 招待講演
  • [学会発表] Visual and tactile material recognition in elderly and brain-damaged subjects2017

    • 著者名/発表者名
      Suzuki K, Iseki C, Hoshi M.
    • 学会等名
      World Congress of Neurology 2017
  • [学会発表] Visual texture agnosia in dementia awith lewy bodies and Alzheimer’s disease.2017

    • 著者名/発表者名
      Oishi Y, Imamura T, Shimomura T, Suzuki K
    • 学会等名
      World Congress of Neurology 2017
  • [学会発表] 脳損傷からみたヒトの視・空間認知機能のしくみ2017

    • 著者名/発表者名
      鈴木匡子
    • 学会等名
      第22回認知神経科学会学術集会
    • 招待講演
  • [学会発表] Predicting Segmentation "Easiness" from the Consistency for Weakly-Supervised Segmentation2017

    • 著者名/発表者名
      Wataru Shimoda and Keiji Yanai
    • 学会等名
      Asian Conference on Pattern Recognition (ACPR)
    • 国際学会
  • [学会発表] Scene Text Eraser2017

    • 著者名/発表者名
      Toshiki Nakamura, Anna Zhu, Keiji Yanai,and Seiichi Uchida
    • 学会等名
      _International Conference on Document Analysis and Recognitino (ICDAR)_
    • 国際学会
  • [学会発表] Neural Font Style Transfer2017

    • 著者名/発表者名
      Gantugs Atarsaikhan, Brian Kenji Iwana, Atsushi Narusawa, Keiji Yanai and Seiichi Uchida
    • 学会等名
      ICDAR Workshop on Machine Learning
    • 国際学会
  • [学会発表] Partial Style Transfer Using Weakly-Supervised Semantic Segmentation2017

    • 著者名/発表者名
      Shin Matsuo, Wataru Shimoda and Keiji Yanai
    • 学会等名
      ICME Workshop on Multimedia Artworks Analysis (MMArt)
    • 国際学会
  • [学会発表] Conditional Fast Style Transfer Network2017

    • 著者名/発表者名
      Keiji Yanai and Ryosuke Tanno
    • 学会等名
      ACM International Conference on Multimedia Retrieval (ICMR)
    • 国際学会
  • [学会発表] Unseen Style Transfer Based on a Conditional Fast Style Transfer Network2017

    • 著者名/発表者名
      Yanai, K.
    • 学会等名
      International Conference on Learning Representation Workshop Track
    • 国際学会
  • [備考] Hiding of Phase-Based Stereo Disparity for ...

    • URL

      http://www.kecl.ntt.co.jp/human/hiddenstereo/

  • [産業財産権] 画像生成装置、画像生成方法、データ構造、およびプログラム2017

    • 発明者名
      吹上大樹、西田眞也、河邉隆寛
    • 権利者名
      吹上大樹、西田眞也、河邉隆寛
    • 産業財産権種類
      特許
    • 産業財産権番号
      089682
  • [産業財産権] 画像生成装置、画像生成方法、データ構造、およびプログラム2017

    • 発明者名
      河邉隆寛、吹上大樹、西田眞也
    • 権利者名
      河邉隆寛、吹上大樹、西田眞也
    • 産業財産権種類
      特許
    • 産業財産権番号
      089681
  • [産業財産権] 音信号生成装置、音信号生成方法、プログラム2017

    • 発明者名
      上村卓也, 寺島裕貴, 古川茂人
    • 権利者名
      上村卓也, 寺島裕貴, 古川茂人
    • 産業財産権種類
      特許
    • 産業財産権番号
      157920

URL: 

公開日: 2018-12-17  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi