• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

計算グラフの構造最適化に基づく機械学習フレームワークの創出

研究課題

研究課題/領域番号 20H04240
研究種目

基盤研究(B)

配分区分補助金
応募区分一般
審査区分 小区分61030:知能情報学関連
研究機関横浜国立大学

研究代表者

白川 真一  横浜国立大学, 大学院環境情報研究院, 准教授 (90633272)

研究期間 (年度) 2020-04-01 – 2023-03-31
研究課題ステータス 完了 (2022年度)
配分額 *注記
17,160千円 (直接経費: 13,200千円、間接経費: 3,960千円)
2022年度: 5,980千円 (直接経費: 4,600千円、間接経費: 1,380千円)
2021年度: 5,980千円 (直接経費: 4,600千円、間接経費: 1,380千円)
2020年度: 5,200千円 (直接経費: 4,000千円、間接経費: 1,200千円)
キーワード機械学習 / 最適化 / 計算グラフ / 進化計算 / 知識獲得 / 構造最適化 / 勾配法
研究開始時の研究の概要

現在の深層学習は,内部処理の解釈が困難,演算量やメモリ使用量が膨大でリソース効率が悪い,といった課題を抱えている.本研究では,処理内容が解釈可能な演算ユニットからなる計算グラフの構造を学習することで,これらの課題を解決する新しい機械学習フレームワークを開発する.開発する方式では,各演算ユニットの役割が解釈容易かつパラメータ数が削減されるため,内部処理の解釈性やリソース効率の改善が期待できる.さらに,構造学習の効率を高める学習方式を開発し,深層学習に匹敵する性能の実現をねらう.本研究は,深層学習を社会実装する際にボトルネックになっている課題の解決につながると考えられる.

研究成果の概要

本研究では、計算グラフの構造を最適化することで、データから知識表現モデルを学習する機械学習方式を開発した。開発方式では、処理内容が解釈可能な演算ユニットからなる計算グラフを考えることで、解釈性やリソース効率の良いモデルの獲得ができることを確認した。また、構造最適化のスケーラビリティや効率性を高めるために、確率緩和や連続緩和と呼ばれる緩和方式を利用した勾配法に基づく最適化手法の開発と改良を実施した。

研究成果の学術的意義や社会的意義

本研究で開発した計算グラフの構造最適化に基づく機械学習方式は、モデルの構造自体を効率的に学習できるという利点がある。これにより、解釈可能な演算ユニットからなる計算グラフの学習や、コンパクトな構造の学習が可能となるため、解釈性や計算効率の良いモデルが求められる応用で活用できる。さらに、本研究で開発した最適化方式は、計算グラフの構造最適化以外の問題にも応用できる可能性がある。

報告書

(4件)
  • 2022 実績報告書   研究成果報告書 ( PDF )
  • 2021 実績報告書
  • 2020 実績報告書
  • 研究成果

    (18件)

すべて 2023 2022 2021 2020

すべて 雑誌論文 (9件) (うち査読あり 8件) 学会発表 (9件) (うち国際学会 1件、 招待講演 1件)

  • [雑誌論文] Surrogate-Assisted (1+1)-CMA-ES with Switching Mechanism of Utility Functions2023

    • 著者名/発表者名
      Yutaro Yamada, Kento Uchida, Shota Saito, Shinichi Shirakawa
    • 雑誌名

      Applications of Evolutionary Computation (EvoApplications 2023)

      巻: 13989 of LNCS ページ: 798-814

    • DOI

      10.1007/978-3-031-30229-9_51

    • ISBN
      9783031302282, 9783031302299
    • 関連する報告書
      2022 実績報告書
    • 査読あり
  • [雑誌論文] (1+1)-CMA-ES with Margin for Discrete and Mixed-Integer Problems2023

    • 著者名/発表者名
      Yohei Watanabe, Kento Uchida, Ryoki Hamano, Shota Saito, Masahiro Nomura, Shinichi Shirakawa
    • 雑誌名

      Proceedings of the Genetic and Evolutionary Computation Conference (GECCO 2023)

      巻: - ページ: 882-890

    • DOI

      10.1145/3583131.3590516

    • 関連する報告書
      2022 実績報告書
    • 査読あり
  • [雑誌論文] CMA-ES with Margin: Lower-Bounding Marginal Probability for Mixed-Integer Black-Box Optimization2022

    • 著者名/発表者名
      Ryoki Hamano, Shota Saito, Masahiro Nomura, Shinichi Shirakawa
    • 雑誌名

      Proceedings of the Genetic and Evolutionary Computation Conference (GECCO 2022)

      巻: - ページ: 639-647

    • DOI

      10.1145/3512290.3528827

    • 関連する報告書
      2022 実績報告書 2021 実績報告書
    • 査読あり
  • [雑誌論文] Reduction of Genetic Drift in Population-Based Incremental Learning via Entropy Regularization2022

    • 著者名/発表者名
      Ryoki Hamano, Shinichi Shirakawa
    • 雑誌名

      Proceedings of the Genetic and Evolutionary Computation Conference Companion (GECCO 2022, Poster Paper)

      巻: - ページ: 491-494

    • DOI

      10.1145/3520304.3529012

    • 関連する報告書
      2022 実績報告書 2021 実績報告書
    • 査読あり
  • [雑誌論文] Benchmarking CMA-ES with Margin on the bbob-mixint Testbed2022

    • 著者名/発表者名
      Ryoki Hamano, Shota Saito, Masahiro Nomura, Shinichi Shirakawa
    • 雑誌名

      Proceedings of the Genetic and Evolutionary Computation Conference Companion (GECCO Workshop on Black-Box Optimization Benchmarking (BBOB 2022))

      巻: - ページ: 1708-1716

    • DOI

      10.1145/3520304.3534043

    • 関連する報告書
      2022 実績報告書 2021 実績報告書
    • 査読あり
  • [雑誌論文] Efficient Search of Multiple Neural Architectures with Different Complexities via Importance Sampling2022

    • 著者名/発表者名
      Yuhei Noda, Shota Saito, Shinichi Shirakawa
    • 雑誌名

      Proceedings of the 31st International Conference on Artificial Neural Networks (ICANN 2022)

      巻: 13532 of LNCS ページ: 607-619

    • DOI

      10.1007/978-3-031-15937-4_51

    • ISBN
      9783031159367, 9783031159374
    • 関連する報告書
      2022 実績報告書
    • 査読あり
  • [雑誌論文] Improvement of sep-CMA-ES for Optimization of High-Dimensional Functions with Low Effective Dimensionality2022

    • 著者名/発表者名
      Teppei Yamaguchi, Kento Uchida, Shinichi Shirakawa
    • 雑誌名

      Proceedings of the 2022 IEEE Symposium Series On Computational Intelligence (SSCI)

      巻: - ページ: 1659-1668

    • DOI

      10.1109/ssci51031.2022.10022244

    • 関連する報告書
      2022 実績報告書
    • 査読あり
  • [雑誌論文] HACNet: End-to-end learning of table-to-image converter and convolutional neural network2022

    • 著者名/発表者名
      Takuya Matsuda, Kento Uchida, Shota Saito, Shinichi Shirakawa
    • 雑誌名

      preprint

      巻: -

    • DOI

      10.21203/rs.3.rs-2174672/v1

    • 関連する報告書
      2022 実績報告書
  • [雑誌論文] Adaptive Stochastic Natural Gradient Method for Optimizing Functions with Low Effective Dimensionality2020

    • 著者名/発表者名
      Teppei Yamaguchi, Kento Uchida, Shinichi Shirakawa
    • 雑誌名

      Proceedings of the 16th International Conference on Parallel Problem Solving from Nature (PPSN XVI)

      巻: 12269 ページ: 719-731

    • DOI

      10.1007/978-3-030-58112-1_50

    • ISBN
      9783030581114, 9783030581121
    • 関連する報告書
      2020 実績報告書
    • 査読あり
  • [学会発表] 構造の複雑さを考慮したNeural Architecture Searchにおける複数構造探索の効率化2022

    • 著者名/発表者名
      埜田 夕平,斉藤 翔汰,白川 真一
    • 学会等名
      2022年度 人工知能学会全国大会 (第36回)
    • 関連する報告書
      2022 実績報告書
  • [学会発表] 評価値への影響を持たない次元を含む高次元最適化問題のためのCMA-ESの改良2022

    • 著者名/発表者名
      内田 絢斗,山口 哲平,白川 真一
    • 学会等名
      進化計算シンポジウム2022
    • 関連する報告書
      2022 実績報告書
  • [学会発表] 利得関数の適応的切替機構を導入したサロゲートモデルを用いた(1+1)-CMA-ESの提案2022

    • 著者名/発表者名
      山田 裕太郎,内田 絢斗,斉藤 翔汰,白川 真一
    • 学会等名
      進化計算シンポジウム2022
    • 関連する報告書
      2022 実績報告書
  • [学会発表] 離散変数最適化および混合整数最適化のためのマージン補正付き(1+1)-CMA-ESの提案2022

    • 著者名/発表者名
      渡邉 陽平,内田 絢斗,濱野 椋希,斉藤 翔汰,野村 将寛,白川 真一
    • 学会等名
      第23回 進化計算学会研究会
    • 関連する報告書
      2022 実績報告書
  • [学会発表] Genetic Driftの抑制を目的とするエントロピー正則化を導入したPBILの提案2021

    • 著者名/発表者名
      濱野 椋希,白川 真一
    • 学会等名
      進化計算シンポジウム2021
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 目的関数の単調増加変換に対する不変性をもつサロゲートモデルを用いた(1+1)-CMA-ESの提案2021

    • 著者名/発表者名
      山田 裕太郎,内田 絢斗,梅木 宏,山口 哲平,斉藤 翔汰,白川 真一
    • 学会等名
      進化計算シンポジウム2021
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 遺伝的プログラミングを用いた船体運動モデル同定における入力端子の影響について2021

    • 著者名/発表者名
      巣山 凜,牧 敦生,宮内 新喜,白川 真一
    • 学会等名
      令和3年 日本船舶海洋工学会 秋季講演会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] Evolutionary Machine Learning (Tutorial)2021

    • 著者名/発表者名
      Masaya Nakata, Will Browne, and Shinichi Shirakawa
    • 学会等名
      2021 IEEE Congress on Evolutionary Computation (CEC 2021)
    • 関連する報告書
      2021 実績報告書
    • 国際学会
  • [学会発表] 確率モデルに基づく進化計算とその応用2021

    • 著者名/発表者名
      白川真一
    • 学会等名
      IMI研究集会「進化計算の数理」
    • 関連する報告書
      2021 実績報告書
    • 招待講演

URL: 

公開日: 2020-04-28   更新日: 2024-01-30  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi