2019 Fiscal Year Annual Research Report
Representations Mapping between psychophysical feature and deep neural network for visual texture
Publicly Offered Research
| Project Area | Correspondence and Fusion of Artificial Intelligence and Brain Science |
|---|
| Project/Area Number |
19H04982
|
|---|
| Research Institution | The University of Electro-Communications |
|---|
Principal Investigator |
庄野 逸 電気通信大学, 大学院情報理工学研究科, 教授 (50263231)
|
|---|
| Project Period (FY) |
2019-04-01 – 2021-03-31
|
| Keywords | 深層学習 / 畳み込みニューラルネットワーク / テクスチャ表現 / PSS / 画像生成 |
|---|
| Outline of Annual Research Achievements |
本研究では，画像処理のための深層畳み込みニューラルネットワーク(Deep Convolution Neural Network: DCNN)を題材としてどのような内部表現が重要であるかを解析し，この内部表現が人間の視覚認知とどのような関係にあるのかを明らかにしていくことを目的としている．手法としては，画像入力として制御可能なテクスチャ画像をDCNNに入力として与えた場合に得られる内部表現が，視覚心理モデルにおいて用いられる Portilla-Simoncelli 特徴量(PSS)をどの程度説明しうるのかを扱うこととした．令和元年度の課題としては，DCNN の内部表現の可視化に関する研究と，DCNNの内部表現を PSS にマッピングする手法の開発を行った．まずDCNNの内部表現の可視化に関しては，結合状態を可視化する手法と，DCNNの内部ユニットが最も強く反応する画像を列挙する手法とに分類されるため，テクスチャにおいて有効性の高い手法の検討を行った．この結果DCNN内部では，位相ずれなどの状況が Pooling Layer などで統合されてしまうため，画像を直接列挙する方法が有効であるという知見を得られた．またPSSにマッピングする研究では，自然画像を用いて学習した VGGモデルの内部表現を縮約したPSSに回帰させることで分析を行った．この結果として，VGG内部表現では，単純統計量や，方位に関する相関に対する統計量に対して，説明能力を持つことが判ったが，スケールの違いに関する表現が欠落しがちであることが判ってきた．この事実はテクスチャを生成する系などに対して，このような情報を設計として積極的に採用することが重要であることを示唆している．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
研究計画時点では，課題を３つにわけ，課題１：画像の可視化，課題２：特徴量のマッピング，課題３：画像の生成に分けて取り組むこととし，令和元年度は主に課題１と課題２に取り組むこととした．１年間の進捗として論文化までは到達していないが，課題２までの計画に対して一定の解答をえることができているため，研究としては概ね順調に進展していると判断している．
|
| Strategy for Future Research Activity |
今年度は課題3の画像生成に関して注力していく予定である．当初の研究計画では生成モデルである Generative Adversarial Network (GAN)を用いる予定であったが，スタイル変換を用いるだけでもかなりのことが直接的にいえる手ごたえを得ているため，まずはこちらから調査する予定である．
また発展研究として計画していたサルなどの高次視覚野における細胞との比較も比較的順調に進展しており，生物とCNNの違いなどにも順次調査可能な体制になりつつある．
|
