2020 Fiscal Year Research-status Report
Image Classification Models based on Grid Neural Networks for Small Datasets
| Project/Area Number |
20K11871
|
|---|
| Research Institution | Tohoku Gakuin University |
|---|
Principal Investigator |
武田 敦志 東北学院大学, 教養学部, 准教授 (90424001)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | ニューラルネットワーク / 画像認識 |
|---|
| Outline of Annual Research Achievements |
画像認識分野で最も利用されている多層畳み込みニューラルネットワークResNetの信号解析を行った。順伝搬信号の共分散やスパース性、及び、順伝搬の信号経路を調査したところ、それぞれの画像ごとに異なる人工ニューロンが計算の中心的役割を担っていることを示唆する結果が得られた。この結果より、畳み込みニューラルネットワークに含まれる短絡経路を動的に変化させ、画像ごとに使用する畳み込み層を動的に変更することにより、従来よりも高い性能の畳み込みニューラルネットワークを実現するという着想を得た。
本研究課題では、前述の着想に基づき、入力データによって順伝搬信号の短絡経路を動的に変化させる畳み込みニューラルネットワークであるDenseResNetを開発した。従来手法として、順伝搬信号の短絡経路を機械学習手法を使って設計する方法や学習パラメータを用いて静的に設定する方法は提案されているが、これらの手法では畳み込みニューラルネットワークの画像認識性能を改善することは難しかった。一方、本研究課題で開発したDenseResNetは、一般的な画像分類性能の評価用データセットであるImageNet・CIFAR-10/100のいずれにおいても従来のResNetの画像分類性能を改善しており、畳み込みニューラルネットワークの画像認識性能の改善に成功したといえる。
さらに、短絡経路を動的に変化させる仕組みをグリッドニューラルネットワークに適用した新しい畳み込みニューラルネットワークSkipResNetを開発した。また、この仕組みをResNeXt・MobileNet・SKNetなどに適用した畳み込みニューラルネットワークSkipResNeXt・SkipMobileNet・SkipSKNetなどを開発し、それぞれが従来手法よりも高い画像分類精度を達成できることを実験を通じて確認した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究課題の令和2年度の目標は、ResNetなどの多層畳み込みニューラルネットワークの順伝搬信号を解析し、そのニューラルネットワークにおいて重要な計算をしている畳み込み層や人工ニューロンを明らかにすることであった。しかし、令和2年度に行った実験と解析では、すべての入力画像に対して特定の畳み込み層や人工ニューロンが重要な役割を果たすのではなく、それぞれの入力画像で異なる畳み込み層や人工ニューロンが計算の中心的な役割を果たしているという結果となった。そのため、令和2年度の目標については十分に達成できたとはいえない。
しかし、上述の実験解析結果に基づき、新しい畳み込みニューラルネットワークであるDenseResNetとSkipResNetを設計し、これらの畳み込みニューラルネットワークが従来手法よりも高い性能を発揮することを実験により確認した。これらの畳み込みニューラルネットワークをbackboneとした転移学習を行うことにより、従来よりも高い精度の画像検知モデルや画像分割モデルを作成できると考えられる。そのため、令和3年度の研究目標である転移学習を用いた従来よりも高い性能の多層ニューラルネットワークの実現に向けた研究開発に移行可能であり、本研究課題はおおむね順調に進展していると判断する。
|
| Strategy for Future Research Activity |
新たに開発したSkipResNetに関する実験データを整理し、これらの結果をまとめて国際会議等で発表する。また、SkipResNetをbackboneに用いた画像検知モデルや画像分割モデルを作成し、標準的なデータセットであるMS-COCOやCityScapesを用いてこれらの性能を評価する。さらに、小規模画像分類データセットであるmini-ImageNetやOmniglotを用いてSkipResNetの性能評価を行い、SkipResNetが小規模データセットの学習でも高い性能を発揮できることを検証する。
また、backboneから適切な信号を取り出すための仕組みを開発する。具体的には、令和2年度の解析結果から得られた知見やノウハウに基づき、入力画像によってbackboneから信号を取り出す経路を動的に変更する仕組みを開発する。
|
| Causes of Carryover |
令和2年度はコロナ禍のためにすべての学会出張が不可となったため、学会出張の旅費や学会での発表のための経費として計上していた費用を次年度使用額として計上している。上記の理由により、令和2年度は十分な成果発表を実施できていないため、未発表の研究成果については令和3年度以降に論文誌等での発表を予定している。令和2年度の次年度使用額については、上記発表の英語論文校正費や論文掲載費として使用予定である。
|
