Deep Learning Principle Analysis in Accordance with Natural Law

2021 Fiscal Year Final Research Report

• Project/Area Number: 19H01134
• Research Category: Grant-in-Aid for Scientific Research (A)
• Allocation Type: Single-year Grants
• Section: 一般
• Review Section: Medium-sized Section 61:Human informatics and related fields
• Research Institution: National Institute of Advanced Industrial Science and Technology
• Principal Investigator: Kataoka Hirokatsu 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (70784883)
• Co-Investigator(Kenkyū-buntansha): 中村 明生 東京電機大学, 未来科学部, 教授 (00334152) ; 井上 中順 東京工業大学, 情報理工学院, 准教授 (10733397) ; 前田 英作 東京電機大学, システムデザイン工学部, 教授 (90396143)
• Project Period (FY): 2019-04-01 – 2022-03-31
• Keywords: Deep Learning / Pre-training / Transfer Learning / Fractal Geometry

Outline of Final Research Achievements

This research project has proposed a learning theory named, Formula-Driven Supervised Learning (FDSL) which automatically renders image patterns and their corresponding labels by natural principles such as fractal geometry. Theoretically, the framework enables to generate unlimited number of fractal images based on a natural law. The proposed framework defines a novel learning strategy which is similar to Self-Supervised Learning yet our framework does not require any real images in the pre-training phase. According to the experimental results, the FractalDB pre-trained convolutional neural networks have recorded similar performance rates to de-facto-standard models like ImageNet pre-trained models.

Free Research Field

コンピュータビジョン

Academic Significance and Societal Importance of the Research Achievements

学術的意義：数式で生成した画像データセットで従来のベースラインと同等まで到達できることを明らかにした。さらに、画像データセットを数式で定義することで、画像認識の原理解析をより容易にした。画像パターンの複雑性が担保され、画像カテゴリは一貫性がある形で割り振られることが重要であった。
社会的意義：従来の画像データセットで問題視されていた、プライバシ侵害・差別的出力・人間のラベル付コストの問題がなくなったため、数式等に権利が含まれていない限りは商用利用が可能なモデルとして提供可能であり、今後AIの社会実装が容易になる。さらに、論文の実験結果が再現できる形でコードや学習済みモデル等を公開するに至った。