• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2020 年度 実績報告書

自然の形成原理に則した深層学習の真相究明

研究課題

研究課題/領域番号 19H01134
研究機関国立研究開発法人産業技術総合研究所

研究代表者

片岡 裕雄  国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (70784883)

研究分担者 中村 明生  東京電機大学, 未来科学部, 教授 (00334152)
井上 中順  東京工業大学, 情報理工学院, 助教 (10733397)
前田 英作  東京電機大学, システムデザイン工学部, 教授 (90396143)
研究期間 (年度) 2019-04-01 – 2022-03-31
キーワードDeep Learning / Pre-training / Transfer Learning / Fractal Geometry
研究実績の概要

2020年度は画像パターンと画像カテゴリを自動生成しながら大規模画像データセットを構築し、深層学習の事前学習モデルを作成する「数式ドリブン教師あり学習(Formula-driven Supervised Learning)」の提案を行った。フラクタル幾何により生成された画像パターンと、生成パラメータの区間によりカテゴリ分けを実施するFractalDBを生成し、畳み込みニューラルネットワークの手法であるResidual Network(ResNet)の学習に成功した。自己教師学習の手法と比較しても遜色ない精度が出ていることを確認した。成果はコンピュータビジョン分野のメジャー会議の一つであるAsian Conference on Computer Vision(ACCV 2020)に採択されるのみならず、同会議のBest Paper Honorable Mention Awardとして受賞論文となった。論文に対応するPythonコードや学習済みモデル、生成済みのデータセットなどを再現できる形で公開した。

現在までの達成度 (区分)
現在までの達成度 (区分)

1: 当初の計画以上に進展している

理由

自然画像(カメラで撮影したRGB画像など)を用いていない深層学習の事前学習にも関わらず、自然画像を用いた画像認識において精度を大幅に改善できることを明らかにした。当初、2020年度は教師なし学習の文脈で比較する予定であったが、デファクトスタンダードのImageNet/Placesデータセットなど教師あり学習と比較しても一部精度を超える性能まで到達した。2019年度まではフラクタル幾何によるデータセット自動構築法を試みてきたが、2020年度については再帰的タイリングやベジェ曲線、パーリンノイズなどによるデータセット構築法を試し、こちらでもベースライン手法と比較して良好な精度を叩き出すに至り、数式ドリブン教師あり学習の有効性を確認した。

今後の研究の推進方策

2021年度については、これまでの実験結果からより効果のありそうな下記2点について明らかにしていく。
(1)自然画像に頻繁に見られる着色や外輪郭の複雑性を高める。特に、FractalDB始め提案のデータセットはほとんどグレースケール画像により構成されている。自然画像ではその特徴表現においても少なからず色情報を用いているため、性能向上のためには効果的な着色方法を検討する必要がある。外輪郭についても、自然画像の表現を参考にしながら提案法を改善したい。
(2)現在までの調査は畳み込みニューラルネットワークを中心に行われてきたが、近年研究が進んでいるより高度なモデル、例としてVision Transformerなどを採用して数式ドリブン教師あり学習を試みる。

  • 研究成果

    (4件)

すべて 2021 2020 その他

すべて 学会発表 (2件) (うち国際学会 2件) 備考 (2件)

  • [学会発表] Initialization Using Perlin Noise for Training Networks with a Limited Amount of Data2021

    • 著者名/発表者名
      Nakamasa Inoue, Eisuke Yamagata, Hirokatsu Kataoka
    • 学会等名
      International Conference on Pattern Recognition (ICPR)
    • 国際学会
  • [学会発表] Pre-training without Natural Images2020

    • 著者名/発表者名
      Hirokatsu Kataoka, Kazushige Okayasu, Asato Matsumoto, Eisuke Yamagata, Ryosuke Yamada, Nakamasa Inoue, Akio Nakamura, Yutaka Satoh
    • 学会等名
      Asian Conference on Computer Vision (ACCV)
    • 国際学会
  • [備考] Pre-training without Natural Images

    • URL

      https://hirokatsukataoka16.github.io/Pretraining-without-Natural-Images/

  • [備考] FractalDB-Pretrained-ResNet-PyTorch

    • URL

      https://github.com/hirokatsukataoka16/FractalDB-Pretrained-ResNet-PyTorch

URL: 

公開日: 2021-12-27  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi