• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Deep Learning Principle Analysis in Accordance with Natural Law

Research Project

Project/Area Number 19H01134
Research Category

Grant-in-Aid for Scientific Research (A)

Allocation TypeSingle-year Grants
Section一般
Review Section Medium-sized Section 61:Human informatics and related fields
Research InstitutionNational Institute of Advanced Industrial Science and Technology

Principal Investigator

Kataoka Hirokatsu  国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (70784883)

Co-Investigator(Kenkyū-buntansha) 中村 明生  東京電機大学, 未来科学部, 教授 (00334152)
井上 中順  東京工業大学, 情報理工学院, 准教授 (10733397)
前田 英作  東京電機大学, システムデザイン工学部, 教授 (90396143)
Project Period (FY) 2019-04-01 – 2022-03-31
Project Status Completed (Fiscal Year 2021)
Budget Amount *help
¥37,310,000 (Direct Cost: ¥28,700,000、Indirect Cost: ¥8,610,000)
Fiscal Year 2021: ¥10,140,000 (Direct Cost: ¥7,800,000、Indirect Cost: ¥2,340,000)
Fiscal Year 2020: ¥10,140,000 (Direct Cost: ¥7,800,000、Indirect Cost: ¥2,340,000)
Fiscal Year 2019: ¥17,030,000 (Direct Cost: ¥13,100,000、Indirect Cost: ¥3,930,000)
KeywordsDeep Learning / Pre-training / Transfer Learning / Fractal Geometry / 画像認識 / 大規模画像データベース / 深層学習 / フラクタル幾何 / パーリンノイズ / 画像データベース / 画像カテゴリ / 機械学習
Outline of Research at the Start

2010年代になり画像認識の精度が飛躍的に向上したことで「自然画像とは何だろうか?」そして「その画像カテゴリとは?」という問いがより重要になっている。本研究課題では自然の形成原理に即し能動的に生成した画像パターンとその画像カテゴリを教師ラベルとした機械学習方法を網羅的に探索することで両者の問いに迫る。さらに、従来の画像認識で問題とされていた人手による膨大な画像ダウンロードや画像カテゴリ付与が不要であるだけでなく、個人情報保護法や著作権法などに依らず大規模画像データベースを構築可能である。

Outline of Final Research Achievements

This research project has proposed a learning theory named, Formula-Driven Supervised Learning (FDSL) which automatically renders image patterns and their corresponding labels by natural principles such as fractal geometry. Theoretically, the framework enables to generate unlimited number of fractal images based on a natural law. The proposed framework defines a novel learning strategy which is similar to Self-Supervised Learning yet our framework does not require any real images in the pre-training phase. According to the experimental results, the FractalDB pre-trained convolutional neural networks have recorded similar performance rates to de-facto-standard models like ImageNet pre-trained models.

Academic Significance and Societal Importance of the Research Achievements

学術的意義:数式で生成した画像データセットで従来のベースラインと同等まで到達できることを明らかにした。さらに、画像データセットを数式で定義することで、画像認識の原理解析をより容易にした。画像パターンの複雑性が担保され、画像カテゴリは一貫性がある形で割り振られることが重要であった。
社会的意義:従来の画像データセットで問題視されていた、プライバシ侵害・差別的出力・人間のラベル付コストの問題がなくなったため、数式等に権利が含まれていない限りは商用利用が可能なモデルとして提供可能であり、今後AIの社会実装が容易になる。さらに、論文の実験結果が再現できる形でコードや学習済みモデル等を公開するに至った。

Report

(5 results)
  • 2021 Annual Research Report   Final Research Report ( PDF )
  • 2020 Annual Research Report
  • 2019 Comments on the Screening Results   Annual Research Report
  • Research Products

    (10 results)

All 2022 2021 2020 2019 Other

All Journal Article (1 results) (of which Peer Reviewed: 1 results,  Open Access: 1 results) Presentation (5 results) (of which Int'l Joint Research: 4 results) Remarks (4 results)

  • [Journal Article] Pre-Training Without Natural Images2022

    • Author(s)
      Hirokatsu Kataoka, Kazushige Okayasu, Asato Matsumoto, Eisuke Yamagata, Ryosuke Yamada, Nakamasa Inoue, Akio Nakamura, Yutaka Satoh
    • Journal Title

      International Journal of Computer Vision

      Volume: 130 Issue: 4 Pages: 990-1007

    • DOI

      10.1007/s11263-021-01555-8

    • Related Report
      2021 Annual Research Report
    • Peer Reviewed / Open Access
  • [Presentation] Spatiotemporal Initialization for 3D CNNs with Generated Motion Patterns2022

    • Author(s)
      Hirokatsu Kataoka, Eisuke Yamagata, Kensho Hara, Ryusuke Hayashi, Nakamasa Inoue
    • Organizer
      IEEE Workshop on Applications of Computer Vision (WACV 2022)
    • Related Report
      2021 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Formula-driven Supervised Learning with Recursive Tiling Patterns2021

    • Author(s)
      Hirokatsu Kataoka, Asato Matsumoto, Eisuke Yamagata, Ryosuke Yamada, Nakamasa Inoue, Yutaka Satoh
    • Organizer
      IEEE/CVF International Conference on Computer Vision (ICCV) Workshop
    • Related Report
      2021 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Initialization Using Perlin Noise for Training Networks with a Limited Amount of Data2021

    • Author(s)
      Nakamasa Inoue, Eisuke Yamagata, Hirokatsu Kataoka
    • Organizer
      International Conference on Pattern Recognition (ICPR)
    • Related Report
      2020 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Pre-training without Natural Images2020

    • Author(s)
      Hirokatsu Kataoka, Kazushige Okayasu, Asato Matsumoto, Eisuke Yamagata, Ryosuke Yamada, Nakamasa Inoue, Akio Nakamura, Yutaka Satoh
    • Organizer
      Asian Conference on Computer Vision (ACCV)
    • Related Report
      2020 Annual Research Report
    • Int'l Joint Research
  • [Presentation] フラクタル幾何学を用いたデータセットの拡張および特性評価2019

    • Author(s)
      SHAO GUANGXIN、片岡 裕雄、佐藤 雄隆
    • Organizer
      画像センシングシンポジウム(SSII2019)
    • Related Report
      2019 Annual Research Report
  • [Remarks] Spatiotemporal Initialization for 3D CNNs

    • URL

      https://hirokatsukataoka16.github.io/Spatiotemporal-Initialization-for-3DCNNs/

    • Related Report
      2021 Annual Research Report
  • [Remarks] Recursive Tiling Patterns

    • URL

      https://hirokatsukataoka16.github.io/Recursive-Tiling-Patterns/

    • Related Report
      2021 Annual Research Report
  • [Remarks] Pre-training without Natural Images

    • URL

      https://hirokatsukataoka16.github.io/Pretraining-without-Natural-Images/

    • Related Report
      2020 Annual Research Report
  • [Remarks] FractalDB-Pretrained-ResNet-PyTorch

    • URL

      https://github.com/hirokatsukataoka16/FractalDB-Pretrained-ResNet-PyTorch

    • Related Report
      2020 Annual Research Report

URL: 

Published: 2019-04-18   Modified: 2023-01-30  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi