Representations Mapping between psychophysical feature and deep neural network for visual texture

• Project Area: Correspondence and Fusion of Artificial Intelligence and Brain Science
• Project/Area Number: 19H04982
• Research Category: Grant-in-Aid for Scientific Research on Innovative Areas (Research in a proposed research area)
• Allocation Type: Single-year Grants
• Review Section: Complex systems
• Research Institution: The University of Electro-Communications
• Principal Investigator: 庄野 逸 電気通信大学, 大学院情報理工学研究科, 教授 (50263231)
• Project Period (FY): 2019-04-01 – 2021-03-31
• Project Status: Completed (Fiscal Year 2020)
• Budget Amount: ¥5,980,000 (Direct Cost: ¥4,600,000、Indirect Cost: ¥1,380,000); Fiscal Year 2020: ¥2,860,000 (Direct Cost: ¥2,200,000、Indirect Cost: ¥660,000); Fiscal Year 2019: ¥3,120,000 (Direct Cost: ¥2,400,000、Indirect Cost: ¥720,000)
• Keywords: 深層学習 / テクスチャ特徴 / Portilla Simoncelli 特徴 / V4視覚野 / 画像生成 / テクスチャ特徴量 / 特徴量解析 / 畳み込みニューラルネットワーク / テクスチャ表現 / PSS

Outline of Research at the Start

深層学習と心理物理量とのマッピングを行っていく．畳み込みニューラルネットワークに代表される深層学習は画像タスクに関して，性能を示すことに成功しているが，どのような特徴を抽出していて，それが人間の質感認知とどのような関係にあるのかは未だ明らかではない．本研究では，これらをつなぐためのアプローチとしてテクスチャを表す心理特徴量とCNNの内部表現との比較を行い，これらの関連性を明らかにすることを試みる．

Outline of Annual Research Achievements

深層畳み込みニューラルネットワーク(Deep Convoution Neural Network: DCNN) は，人間の視覚系をヒントに構築されているが，“どのような特徴を抽出しているのか？”，“人間の知覚とどのように関係しているのか？” といった問いに対する議論は不十分であった．令和2年度の研究としては，DCNN の内部表現に着目し，心理物理的な意味でのテクスチャ特徴量が，どの程度使用されているかの頻度を調査し，どの程度，生体の視覚系と類似しているかの解析を行った．
心理物理的な特徴量としては Portilla-Simoncelli 特徴量 (PSS) を用いた．DCNNとしてはビルディングブロック構造がシンプルなVGGを採用し，自然画像を識別するのに最適化されたものを用いている．テクスチャデータとしては，サルの視覚系との比較が行えるように Okazaki Synthetic Texture Image を用いて解析を行った．解析は，テクスチャ画像をVGGに与えた際に，各階層から得られる反応をもとにPSSへのスパース回帰を行った．
VGGの初期層は，比較的単純な統計量であるスペクトル統計などが強く関連するが，高次層に至るにつれ，特徴間の相互相関的な特徴量との関連度が高くなることが確認された．これはサルV4野等で得られた実験とも整合するため，自然画像のパターン認識が目的で構築された VGG であっても，テクスチャを表現するような情報を視覚系と類似した形態で保持していることが示唆できた．またVGGを用いた Style Transfer モデルで画像を生成した場合，視認的な意味とPSS的な意味において，かなり類似した画像を生成できることからVGGは潜在的にテクスチャを表現するのに適したモデルであることを確認した．

Research Progress Status

令和2年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

令和2年度が最終年度であるため、記入しない。

Research Products

• [Journal Article] Texture Analysis of Magnetic Domain Images Using Statistics Based on Human Visual Perception (2021)
  • Author(s): Murakami Ryo、Mizumaki Masaichiro、Hamano Yusuke、Akai Ichiro、Shouno Hayaru
  • Journal Title: Journal of the Physical Society of Japan Volume: 90 Issue: 4 Pages: 044705-044705
  • DOI: 10.7566/jpsj.90.044705
  • NAID: 40022539093
  • Peer Reviewed / Open Access
• [Journal Article] Development of spectral decomposition based on Bayesian information criterion with estimation of confidence interval (2020)
  • Author(s): Shinotsuka Hiroshi、Nagata Kenji、Yoshikawa Hideki、Mototake Yoh-Ichi、Shouno Hayaru、Okada Masato
  • Journal Title: Science and Technology of Advanced Materials Volume: 21 Issue: 1 Pages: 402-419
  • DOI: 10.1080/14686996.2020.1773210
  • Peer Reviewed / Open Access
• [Journal Article] Development of multiple core-level XPS spectra decomposition method based on the Bayesian information criterion (2020)
  • Author(s): Murakami Ryo、Tanaka Hiromi、Shinotsuka Hiroshi、Nagata Kenji、Shouno Hayaru、Yoshikawa Hideki
  • Journal Title: Journal of Electron Spectroscopy and Related Phenomena Volume: 245 Pages: 147003-147003
  • DOI: 10.1016/j.elspec.2020.147003
  • Peer Reviewed
• [Journal Article] Ordered Subsets EM algorithm for PET Image Reconstruction by use of Dictionary Learning and TV Regularization (2019)
  • Author(s): 奥村 直裕、庄野 逸
  • Journal Title: Medical Imaging Technology Volume: 37 Issue: 5 Pages: 217-229
  • DOI: 10.11409/mit.37.217
  • NAID: 130007752682
  • ISSN: 0288-450X, 2185-3193
  • Year and Date: 2019-11-25
  • Peer Reviewed
• [Journal Article] Bolassoを用いたびまん性肺疾患画像の特徴選択 (2019)
  • Author(s): 遠藤 瑛泰 , 永田 賢二 , 木戸 尚治 , 庄野 逸
  • Journal Title: 情報処理学会論文誌数理モデル化と応用 Volume: 12 Pages: 68-77
  • NAID: 170000181266
  • Peer Reviewed
• [Presentation] Bayesian Dynamic Mode Decomposition with Variational Matrix Factorization (2021)
  • Author(s): Takahiro Kawashima, Hayaru Shouno, Hideitsu Hino
  • Organizer: The 35th AAAI Conference on Artificial Intelligence (AAAI-21)
  • Int'l Joint Research
• [Presentation] Analysis of Texture Representation in Convolution Neural Network Using Wavelet Based Joint Statistics. (2020)
  • Author(s): Yusuke Hamano, Hayaru Shouno
  • Organizer: International Conference on Neural Information Processing (ICONIP20)
  • Int'l Joint Research
• [Presentation] Bayesian Sparse Covariance Structure Analysis for Correlated Count Data (2020)
  • Author(s): Sho Ichigozaki, Takahiro Kawashima, Hayaru Shouno
  • Organizer: Parallel and Distributed Processing Techniques and Applications (PDPTA20)
  • Int'l Joint Research
• [Presentation] Interpretation of ResNet by Visualization of Preferred Stimulus in Receptive Fields (2020)
  • Author(s): Genta Kobayashi, Hayaru Shouno
  • Organizer: Parallel and Distributed Processing Techniques and Applications (PDPTA20)
  • Int'l Joint Research
• [Presentation] 視覚野構造に基づいたシフト不変な深層学習モデルの確立 (2020)
  • Author(s): 樋口陽光, 鈴木聡志, 庄野逸
  • Organizer: 第30回日本神経回路学会全国大会
• [Presentation] 自然勾配法によるSignアルゴリズムの収束性能改善 (2020)
  • Author(s): 峰尾太陽，庄野逸
  • Organizer: 電子情報通信学会 信号処理研究会
• [Presentation] Portilla-Simoncelli Statisticsを用いたDCNNのテクスチャ特徴解析 (2020)
  • Author(s): 浜野佑介，庄野 逸
  • Organizer: 電子情報通信学会 ニューロコンピューティング研究会
• [Presentation] 受容野の最適刺激を用いた畳込みニューラルネットワークの可視化手法 (2020)
  • Author(s): 小林源太，庄野 逸
  • Organizer: 電子情報通信学会 ニューロコンピューティング研究会
• [Presentation] B-DCGAN: Evaluation of Binarized DCGAN for FPGA (2019)
  • Author(s): Hideo Terada, Hayaru Shouno
  • Organizer: International Conference on Neural Information Processing (ICONIP)
  • Int'l Joint Research
• [Presentation] Fast Bayesian Restoration of Poisson Corruputed Images with INLA (2019)
  • Author(s): Takahiro Kawashima, Hayaru Shouno,
  • Organizer: International Conference on Parallel Distributed Processing and its Applications
  • Int'l Joint Research
• [Book] Deep Learning in Healthcare (2019)
  • Author(s): Aiga Suzuki, Hidenori Sakanashi, Shoji Kido, Hayaru Shouno
  • Publisher: Springer, Cham
  • ISBN: 9783030326067
• [Patent(Industrial Property Rights)] 情報処理装置、プログラム、及び情報処理装置の動作方法 (2020)
  • Inventor(s): 高杉順子 , 中村理恵 , 黒沢正治 , 庄野逸
  • Industrial Property Rights Holder: 高杉順子 , 中村理恵 , 黒沢正治 , 庄野逸
  • Industrial Property Rights Type: 特許
  • Industrial Property Number: 2020-197515
  • Filing Date: 2020
• [Patent(Industrial Property Rights)] 画像処理方法、画像処理装置及びプログラム (2020)
  • Inventor(s): 庄野逸 , 鈴木聡志 , 谷田隆一 , 木全英明
  • Industrial Property Rights Holder: 庄野逸 , 鈴木聡志 , 谷田隆一 , 木全英明
  • Industrial Property Rights Type: 特許
  • Industrial Property Number: 2020-088398
  • Filing Date: 2020