2022 Fiscal Year Research-status Report
Image Classification Models based on Grid Neural Networks for Small Datasets
| Project/Area Number |
20K11871
|
|---|
| Research Institution | Tohoku Gakuin University |
|---|
Principal Investigator |
武田 敦志 東北学院大学, 教養学部, 教授 (90424001)
|
|---|
| Project Period (FY) |
2020-04-01 – 2024-03-31
|
| Keywords | 深層学習 / 画像認識 / ニューラルネットワーク |
|---|
| Outline of Annual Research Achievements |
画像分類を行うための分類精度の高い深層学習モデルを作成するためには大規模な画像データセットが必要となるが、それぞれの画像分類の課題に対して適切な大規模データセットを作成することは容易ではない。そこで、本研究課題では、小規模のデータセットを用いて学習を行った場合であっても高い画像分類性能を達成するSkipResNetやSkipConvNeXtを開発した。これらの画像分類モデルは、従来より研究開発を行ってきたグリッドニューラルネットワークを発展させたものであり、新しい短絡経路と新たに開発したGate Moduleを用いることにより、従来の画像分類モデルよりも効率よい学習を実現している。
標準的な画像分類データセットであるImageNetや小規模の画像分類データセットであるCIFARを用いた実験により、SkipResNetやSkipConvNeXtの画像分類性能は従来手法よりも高いことを確認した。また、MS-COCOやADE20Kを用いた画像認識に関する実験により、SkipResNetをBackboneとした画像認識モデルの画像認識性能が従来手法よりも高いことを確認した。
さらに、本研究課題で新たに開発したGate ModuleはSwinTransformerなどのSelf-Attention機構を中心とした深層学習モデルにも導入可能であり、SwinTransformerにGate Moduleを導入したSkipSwinTransformerを開発した。ImageNetを用いた実験を行い、SkipSwinTransformerの画像分類性能が従来手法であるSwinTransformerよりも優れていることを確認した。
本研究課題で開発したニューラルネットワークの実装と実験結果をGitHubにて公開している。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
本研究課題にて開発した短絡経路を動的に変化させる仕組みであるGate Moduleを導入することにより、従来手法よりも高い性能を有する複数の画像分類モデルSkipResNet・SkipConvNeXt・SkipSwinTransformerなどの画像分類モデルを開発した。また、これらの画像分類モデルをBackboneとする物体検知モデルや領域識別モデルを実装し、これらの画像認識モデルの性能が従来手法よりも優れていることを検証した。さらに、これらの画像認識モデルにおいて、BackboneとHeadを接続する新たな方法を開発することにより、従来よりも高い性能を有する物体検知モデルや領域識別モデルの実現に成功した。これらの研究成果は、当初計画していた研究手法とは詳細が異なるが、本研究課題の目的である「転移学習モデルの性能を改善するBackboneとその効果的な接続方法を明らかにすること」を達成したものであるため、本研究課題の開発に関する目標達成については当初の計画通りに進展していると考えられる。
一方、covid-19の流行により発表の機会を大きく制限された時期があったため、本研究成果の発表の機会のみならず、新たに開発した画像認識モデルについて他の研究者と議論する機会を十分には得られなかった。そのため、本研究課題の研究成果の発表は十分に行うことができておらず、本研究課題の発表に関する目標達成については計画より遅れている。
|
| Strategy for Future Research Activity |
これまでに開発した画像認識モデルとその実験結果について、学術論文としてまとめることを目標とする。特に、新たに開発した画像分類モデルであるSkipResNet・SkipConvNeXt・SkipSwinTransformerに関する十分な実験結果が得られているため、これらの研究成果をまとめた学術論文を執筆し、学術論文誌に投稿する予定である。また、本研究課題の研究成果を公開し、学術分野の発展に貢献するため、SkipResNetなどの新たに開発した画像分類モデルのプログラムコードと学習済みパラメータをGitHubにて公開する。
|
| Causes of Carryover |
2022年度に国際会議や学術論文誌での発表を予定していた。しかし、covid-19の流行のために国外で開催された国際会議への参加を自粛し、学術論文誌へ投稿予定の論文執筆が遅れているため、これらの発表のために計画していた予算を執行しなかった。また、より計算力を必要とする実験を実施するための物品の調達を予定していたが、半導体不足により調達価格が高騰したため、これらの物品の購入を延期した。
次年度は、2022年度の計画を続行し、追加の実験を実施し、これらの結果をまとめた論文を学術論文誌に投稿するためにこれらの予算を必要としている。
|
