Image Classification Models based on Grid Neural Networks for Small Datasets
| Project/Area Number |
20K11871
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61010:Perceptual information processing-related
|
|---|
| Research Institution | Tohoku Gakuin University |
|---|
Principal Investigator |
武田 敦志 東北学院大学, 教養学部, 教授 (90424001)
|
|---|
| Project Period (FY) |
2020-04-01 – 2024-03-31
|
| Project Status |
Granted (Fiscal Year 2022)
|
| Budget Amount *help |
¥4,030,000 (Direct Cost: ¥3,100,000、Indirect Cost: ¥930,000)
Fiscal Year 2022: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2021: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2020: ¥2,340,000 (Direct Cost: ¥1,800,000、Indirect Cost: ¥540,000)
|
|---|
| Keywords | 深層学習 / 画像認識 / ニューラルネットワーク / 転移学習 |
|---|
| Outline of Research at the Start |
本研究課題の目的は、グリッドニューラルネットワークと転移学習技術を活用することにより、訓練データが小規模であっても高い画像分類性能を有する多層ニューラルネットワークを実現することである。この目的を達成するため、ResNetなどの既存の多層ニューラルネットワークやグリッドニューラルネットワークを順伝播する信号を解析し、入力画像の特徴を明確に表現している信号が存在する部分を明らかにする。さらに、これらの多層ニューラルネットワークから適切な部分の信号を取り出すことにより、転移学習を行った場合のニューラルネットワークの性能が向上することを示す。
|
| Outline of Annual Research Achievements |
画像分類を行うための分類精度の高い深層学習モデルを作成するためには大規模な画像データセットが必要となるが、それぞれの画像分類の課題に対して適切な大規模データセットを作成することは容易ではない。そこで、本研究課題では、小規模のデータセットを用いて学習を行った場合であっても高い画像分類性能を達成するSkipResNetやSkipConvNeXtを開発した。これらの画像分類モデルは、従来より研究開発を行ってきたグリッドニューラルネットワークを発展させたものであり、新しい短絡経路と新たに開発したGate Moduleを用いることにより、従来の画像分類モデルよりも効率よい学習を実現している。
標準的な画像分類データセットであるImageNetや小規模の画像分類データセットであるCIFARを用いた実験により、SkipResNetやSkipConvNeXtの画像分類性能は従来手法よりも高いことを確認した。また、MS-COCOやADE20Kを用いた画像認識に関する実験により、SkipResNetをBackboneとした画像認識モデルの画像認識性能が従来手法よりも高いことを確認した。
さらに、本研究課題で新たに開発したGate ModuleはSwinTransformerなどのSelf-Attention機構を中心とした深層学習モデルにも導入可能であり、SwinTransformerにGate Moduleを導入したSkipSwinTransformerを開発した。ImageNetを用いた実験を行い、SkipSwinTransformerの画像分類性能が従来手法であるSwinTransformerよりも優れていることを確認した。
本研究課題で開発したニューラルネットワークの実装と実験結果をGitHubにて公開している。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
本研究課題にて開発した短絡経路を動的に変化させる仕組みであるGate Moduleを導入することにより、従来手法よりも高い性能を有する複数の画像分類モデルSkipResNet・SkipConvNeXt・SkipSwinTransformerなどの画像分類モデルを開発した。また、これらの画像分類モデルをBackboneとする物体検知モデルや領域識別モデルを実装し、これらの画像認識モデルの性能が従来手法よりも優れていることを検証した。さらに、これらの画像認識モデルにおいて、BackboneとHeadを接続する新たな方法を開発することにより、従来よりも高い性能を有する物体検知モデルや領域識別モデルの実現に成功した。これらの研究成果は、当初計画していた研究手法とは詳細が異なるが、本研究課題の目的である「転移学習モデルの性能を改善するBackboneとその効果的な接続方法を明らかにすること」を達成したものであるため、本研究課題の開発に関する目標達成については当初の計画通りに進展していると考えられる。
一方、covid-19の流行により発表の機会を大きく制限された時期があったため、本研究成果の発表の機会のみならず、新たに開発した画像認識モデルについて他の研究者と議論する機会を十分には得られなかった。そのため、本研究課題の研究成果の発表は十分に行うことができておらず、本研究課題の発表に関する目標達成については計画より遅れている。
|
| Strategy for Future Research Activity |
これまでに開発した画像認識モデルとその実験結果について、学術論文としてまとめることを目標とする。特に、新たに開発した画像分類モデルであるSkipResNet・SkipConvNeXt・SkipSwinTransformerに関する十分な実験結果が得られているため、これらの研究成果をまとめた学術論文を執筆し、学術論文誌に投稿する予定である。また、本研究課題の研究成果を公開し、学術分野の発展に貢献するため、SkipResNetなどの新たに開発した画像分類モデルのプログラムコードと学習済みパラメータをGitHubにて公開する。
|
Report
(3 results)
Research Products
(4 results)
