Deep Learning Principle Analysis in Accordance with Natural Law
| Project/Area Number |
19H01134
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (A)
|
| Allocation Type | Single-year Grants |
|---|
| Section | 一般 |
|---|
| Review Section |
Medium-sized Section 61:Human informatics and related fields
|
|---|
| Research Institution | National Institute of Advanced Industrial Science and Technology |
|---|
Principal Investigator |
Kataoka Hirokatsu 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (70784883)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
中村 明生 東京電機大学, 未来科学部, 教授 (00334152)
井上 中順 東京工業大学, 情報理工学院, 准教授 (10733397)
前田 英作 東京電機大学, システムデザイン工学部, 教授 (90396143)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Project Status |
Completed (Fiscal Year 2021)
|
| Budget Amount *help |
¥37,310,000 (Direct Cost: ¥28,700,000、Indirect Cost: ¥8,610,000)
Fiscal Year 2021: ¥10,140,000 (Direct Cost: ¥7,800,000、Indirect Cost: ¥2,340,000)
Fiscal Year 2020: ¥10,140,000 (Direct Cost: ¥7,800,000、Indirect Cost: ¥2,340,000)
Fiscal Year 2019: ¥17,030,000 (Direct Cost: ¥13,100,000、Indirect Cost: ¥3,930,000)
|
|---|
| Keywords | Deep Learning / Pre-training / Transfer Learning / Fractal Geometry / 画像認識 / 大規模画像データベース / 深層学習 / フラクタル幾何 / パーリンノイズ / 画像データベース / 画像カテゴリ / 機械学習 |
|---|
| Outline of Research at the Start |
2010年代になり画像認識の精度が飛躍的に向上したことで「自然画像とは何だろうか？」そして「その画像カテゴリとは？」という問いがより重要になっている。本研究課題では自然の形成原理に即し能動的に生成した画像パターンとその画像カテゴリを教師ラベルとした機械学習方法を網羅的に探索することで両者の問いに迫る。さらに、従来の画像認識で問題とされていた人手による膨大な画像ダウンロードや画像カテゴリ付与が不要であるだけでなく、個人情報保護法や著作権法などに依らず大規模画像データベースを構築可能である。
|
| Outline of Final Research Achievements |
This research project has proposed a learning theory named, Formula-Driven Supervised Learning (FDSL) which automatically renders image patterns and their corresponding labels by natural principles such as fractal geometry. Theoretically, the framework enables to generate unlimited number of fractal images based on a natural law. The proposed framework defines a novel learning strategy which is similar to Self-Supervised Learning yet our framework does not require any real images in the pre-training phase. According to the experimental results, the FractalDB pre-trained convolutional neural networks have recorded similar performance rates to de-facto-standard models like ImageNet pre-trained models.
|
| Academic Significance and Societal Importance of the Research Achievements |
学術的意義：数式で生成した画像データセットで従来のベースラインと同等まで到達できることを明らかにした。さらに、画像データセットを数式で定義することで、画像認識の原理解析をより容易にした。画像パターンの複雑性が担保され、画像カテゴリは一貫性がある形で割り振られることが重要であった。
社会的意義：従来の画像データセットで問題視されていた、プライバシ侵害・差別的出力・人間のラベル付コストの問題がなくなったため、数式等に権利が含まれていない限りは商用利用が可能なモデルとして提供可能であり、今後AIの社会実装が容易になる。さらに、論文の実験結果が再現できる形でコードや学習済みモデル等を公開するに至った。
|
Report
(5 results)
Research Products
(10 results)
-
[Journal Article] Pre-Training Without Natural Images2022
Author(s)
Hirokatsu Kataoka, Kazushige Okayasu, Asato Matsumoto, Eisuke Yamagata, Ryosuke Yamada, Nakamasa Inoue, Akio Nakamura, Yutaka Satoh
-
Journal Title
International Journal of Computer Vision
Volume: 130
Issue: 4
Pages: 990-1007
DOI
Related Report
Peer Reviewed / Open Access
-
-
-
-
[Presentation] Pre-training without Natural Images2020
Author(s)
Hirokatsu Kataoka, Kazushige Okayasu, Asato Matsumoto, Eisuke Yamagata, Ryosuke Yamada, Nakamasa Inoue, Akio Nakamura, Yutaka Satoh
Organizer
Asian Conference on Computer Vision (ACCV)
Related Report
Int'l Joint Research
-
-
-
-
-
