Representations Mapping between psychophysical feature and deep neural network for visual texture
Publicly Offered Research
| Project Area | Correspondence and Fusion of Artificial Intelligence and Brain Science |
|---|
| Project/Area Number |
19H04982
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research on Innovative Areas (Research in a proposed research area)
|
| Allocation Type | Single-year Grants |
|---|
| Review Section |
Complex systems
|
|---|
| Research Institution | The University of Electro-Communications |
|---|
Principal Investigator |
庄野 逸 電気通信大学, 大学院情報理工学研究科, 教授 (50263231)
|
|---|
| Project Period (FY) |
2019-04-01 – 2021-03-31
|
| Project Status |
Completed (Fiscal Year 2020)
|
| Budget Amount *help |
¥5,980,000 (Direct Cost: ¥4,600,000、Indirect Cost: ¥1,380,000)
Fiscal Year 2020: ¥2,860,000 (Direct Cost: ¥2,200,000、Indirect Cost: ¥660,000)
Fiscal Year 2019: ¥3,120,000 (Direct Cost: ¥2,400,000、Indirect Cost: ¥720,000)
|
|---|
| Keywords | 深層学習 / テクスチャ特徴 / Portilla Simoncelli 特徴 / V4視覚野 / 画像生成 / テクスチャ特徴量 / 特徴量解析 / 畳み込みニューラルネットワーク / テクスチャ表現 / PSS |
|---|
| Outline of Research at the Start |
深層学習と心理物理量とのマッピングを行っていく．畳み込みニューラルネットワークに代表される深層学習は画像タスクに関して，性能を示すことに成功しているが，どのような特徴を抽出していて，それが人間の質感認知とどのような関係にあるのかは未だ明らかではない．本研究では，これらをつなぐためのアプローチとしてテクスチャを表す心理特徴量とCNNの内部表現との比較を行い，これらの関連性を明らかにすることを試みる．
|
| Outline of Annual Research Achievements |
深層畳み込みニューラルネットワーク(Deep Convoution Neural Network: DCNN) は，人間の視覚系をヒントに構築されているが，“どのような特徴を抽出しているのか？”，“人間の知覚とどのように関係しているのか？” といった問いに対する議論は不十分であった．令和2年度の研究としては，DCNN の内部表現に着目し，心理物理的な意味でのテクスチャ特徴量が，どの程度使用されているかの頻度を調査し，どの程度，生体の視覚系と類似しているかの解析を行った．
心理物理的な特徴量としては Portilla-Simoncelli 特徴量 (PSS) を用いた．DCNNとしてはビルディングブロック構造がシンプルなVGGを採用し，自然画像を識別するのに最適化されたものを用いている．テクスチャデータとしては，サルの視覚系との比較が行えるように Okazaki Synthetic Texture Image を用いて解析を行った．解析は，テクスチャ画像をVGGに与えた際に，各階層から得られる反応をもとにPSSへのスパース回帰を行った．
VGGの初期層は，比較的単純な統計量であるスペクトル統計などが強く関連するが，高次層に至るにつれ，特徴間の相互相関的な特徴量との関連度が高くなることが確認された．これはサルV4野等で得られた実験とも整合するため，自然画像のパターン認識が目的で構築された VGG であっても，テクスチャを表現するような情報を視覚系と類似した形態で保持していることが示唆できた．またVGGを用いた Style Transfer モデルで画像を生成した場合，視認的な意味とPSS的な意味において，かなり類似した画像を生成できることからVGGは潜在的にテクスチャを表現するのに適したモデルであることを確認した．
|
| Research Progress Status |
令和2年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
令和2年度が最終年度であるため、記入しない。
|
Report
(2 results)
Research Products
(18 results)
