2020 Fiscal Year Annual Research Report
Representations Mapping between psychophysical feature and deep neural network for visual texture
Publicly Offered Research
| Project Area | Correspondence and Fusion of Artificial Intelligence and Brain Science |
|---|
| Project/Area Number |
19H04982
|
|---|
| Research Institution | The University of Electro-Communications |
|---|
Principal Investigator |
庄野 逸 電気通信大学, 大学院情報理工学研究科, 教授 (50263231)
|
|---|
| Project Period (FY) |
2019-04-01 – 2021-03-31
|
| Keywords | 深層学習 / テクスチャ特徴 / Portilla Simoncelli 特徴 / V4視覚野 / 画像生成 |
|---|
| Outline of Annual Research Achievements |
深層畳み込みニューラルネットワーク(Deep Convoution Neural Network: DCNN) は，人間の視覚系をヒントに構築されているが，“どのような特徴を抽出しているのか？”，“人間の知覚とどのように関係しているのか？” といった問いに対する議論は不十分であった．令和2年度の研究としては，DCNN の内部表現に着目し，心理物理的な意味でのテクスチャ特徴量が，どの程度使用されているかの頻度を調査し，どの程度，生体の視覚系と類似しているかの解析を行った．
心理物理的な特徴量としては Portilla-Simoncelli 特徴量 (PSS) を用いた．DCNNとしてはビルディングブロック構造がシンプルなVGGを採用し，自然画像を識別するのに最適化されたものを用いている．テクスチャデータとしては，サルの視覚系との比較が行えるように Okazaki Synthetic Texture Image を用いて解析を行った．解析は，テクスチャ画像をVGGに与えた際に，各階層から得られる反応をもとにPSSへのスパース回帰を行った．
VGGの初期層は，比較的単純な統計量であるスペクトル統計などが強く関連するが，高次層に至るにつれ，特徴間の相互相関的な特徴量との関連度が高くなることが確認された．これはサルV4野等で得られた実験とも整合するため，自然画像のパターン認識が目的で構築された VGG であっても，テクスチャを表現するような情報を視覚系と類似した形態で保持していることが示唆できた．またVGGを用いた Style Transfer モデルで画像を生成した場合，視認的な意味とPSS的な意味において，かなり類似した画像を生成できることからVGGは潜在的にテクスチャを表現するのに適したモデルであることを確認した．
|
| Research Progress Status |
令和2年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
令和2年度が最終年度であるため、記入しない。
|
