• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

記号回帰モデルのための学習法の再構築と応用

研究課題

研究課題/領域番号 23K28156
補助金の研究課題番号 23H03466 (2023)
研究種目

基盤研究(B)

配分区分基金 (2024)
補助金 (2023)
応募区分一般
審査区分 小区分61040:ソフトコンピューティング関連
研究機関横浜国立大学

研究代表者

白川 真一  横浜国立大学, 大学院環境情報研究院, 教授 (90633272)

研究期間 (年度) 2023-04-01 – 2028-03-31
研究課題ステータス 交付 (2024年度)
配分額 *注記
18,200千円 (直接経費: 14,000千円、間接経費: 4,200千円)
2027年度: 3,640千円 (直接経費: 2,800千円、間接経費: 840千円)
2026年度: 3,640千円 (直接経費: 2,800千円、間接経費: 840千円)
2025年度: 4,420千円 (直接経費: 3,400千円、間接経費: 1,020千円)
2024年度: 3,120千円 (直接経費: 2,400千円、間接経費: 720千円)
2023年度: 3,380千円 (直接経費: 2,600千円、間接経費: 780千円)
キーワード機械学習 / 進化計算 / 最適化 / 記号回帰モデル
研究開始時の研究の概要

記号回帰モデルは基本的な演算や関数の組合せで表現されるため,解釈性が高い,軽量といった利点があるが,数式の「構造」を学習する必要があるため,ニューラルネットワーク(NN)のような効率的な学習が難しく,学習効率や性能に課題がある.本研究では,深層学習で利用されている方法論を積極的に取り入れつつ記号回帰モデルのための新規の学習方式を開発し,学習の効率化や性能向上を目指す.また,開発した学習方式を実問題へ応用し,その有効性を検証する.

研究実績の概要

2023年度は当初の計画に沿って,1) 記号回帰モデルのための効率的な学習アルゴリズムの基礎検討,2) ドメイン知識を利用した効果的な学習法の検討,3) 具体的なタスクでの開発方式の評価準備,などを推進した.項目 1)に関しては,特に記号回帰モデルの中間出力に対する勾配情報を学習に利用する方式を検討し,モデル構造とモデル内の連続パラメータの両方を最適化する方式の開発や記号回帰モデルの表現形式が最適化に与える影響を調査した.この方式では記号回帰モデルの構造と係数などの連続変数を同時に学習できる点で利点があり,基本的なベンチマーク関数へ適用し評価を行った.また,記号回帰モデルの学習に利用可能なブラックボックス最適化法の開発を行い,確率モデルベース進化計算法を基礎に,連続変数とカテゴリ変数を同時に最適化する方式やノイズ対処法などの開発を行った.ベンチマーク関数での評価を通して,これらの方式の有効性を確認している.項目 2)に関しては,大規模言語モデルを利用してデータセットのメタ情報から特徴構築のための記号回帰モデルを得る方法を開発し,大規模言語モデルを介した事前知識の利用を検討した.この方式は機械学習の特徴構築タスクにおいて性能評価を行い有効性を確認している.項目 3)としては,医療・ヘルスケアデータを対象にモデルの解釈性が求められるタスクの準備を進めた.また,解釈可能な機械学習モデルを参考にモデルの演算メカニズムの可視化方法等を検討した.

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

当初の計画に沿って,記号回帰モデルの学習アルゴリズムやドメイン知識の利用方法の検討,具体的なタスクでの評価の準備を進めており,研究発表も行っているなど,想定通りの進捗を得たものと考えている.

今後の研究の推進方策

今後はこれまでの検討事項や成果をもとに,記号回帰モデルの学習法を発展させるべく研究を推進していく.まず,記号回帰モデルの学習アルゴリズムの基礎検討に関して,これまでに開発した方式を継続して洗練化するとともに新規方式にも着手する.また,記号回帰モデルの学習に応用可能な最適化アルゴリズムの効率化・拡張等を実施する.開発方式の効率性を記号回帰モデルのベンチマーク問題などで評価する.次に,モデルの性能を高める効果的な学習法の開発として,ドメイン知識の学習への利用などを推進する.特徴構築や船舶のシステム同定などのタスクを想定し,利用できるドメイン知識の整理や効果的な利用方法を開発していく.また,大規模言語モデルを記号回帰モデルの学習に利用する方法についても検討を継続する.さらに,現実的なタスクで評価し実用性を高めるため,物理現象との関わりが深いタスクやモデル解釈性が求められるタスクへの応用を推進する.

報告書

(1件)
  • 2023 実績報告書
  • 研究成果

    (12件)

すべて 2024 2023

すべて 雑誌論文 (6件) (うち査読あり 6件) 学会発表 (6件)

  • [雑誌論文] Neural Additive and Basis Models with Feature Selection and Interactions2024

    • 著者名/発表者名
      Yasutoshi Kishimoto, Kota Yamanishi, Takuya Matsuda, Shinichi Shirakawa
    • 雑誌名

      Proceedings of the 28th Pacific-Asia Conference on Knowledge Discovery and Data Mining (PAKDD 2024), Part III, LNAI, Springer

      巻: 14647 ページ: 3-16

    • DOI

      10.1007/978-981-97-2259-4_1

    • ISBN
      9789819722617, 9789819722594
    • 関連する報告書
      2023 実績報告書
    • 査読あり
  • [雑誌論文] Simple Domain Generalization Methods are Strong Baselines for Open Domain Generalization2024

    • 著者名/発表者名
      Masashi Noguchi, Shinichi Shirakawa
    • 雑誌名

      Proceedings of the International Joint Conference on Neural Networks (IJCNN 2024)

      巻: -

    • 関連する報告書
      2023 実績報告書
    • 査読あり
  • [雑誌論文] CMA-ES for Safe Optimization2024

    • 著者名/発表者名
      Kento Uchida, Ryoki Hamano, Masahiro Nomura, Shota Saito, Shinichi Shirakawa
    • 雑誌名

      Proceedings of the Genetic and Evolutionary Computation Conference (GECCO 2024)

      巻: - ページ: 722-730

    • DOI

      10.1145/3638529.3654193

    • 関連する報告書
      2023 実績報告書
    • 査読あり
  • [雑誌論文] CMA-ES with Adaptive Reevaluation for Multiplicative Noise2024

    • 著者名/発表者名
      Kento Uchida, Kenta Nishihara, Shinichi Shirakawa
    • 雑誌名

      Proceedings of the Genetic and Evolutionary Computation Conference (GECCO 2024)

      巻: - ページ: 731-739

    • DOI

      10.1145/3638529.3654182

    • 関連する報告書
      2023 実績報告書
    • 査読あり
  • [雑誌論文] CatCMA : Stochastic Optimization for Mixed-Category Problems2024

    • 著者名/発表者名
      Ryoki Hamano, Shota Saito, Masahiro Nomura, Kento Uchida, Shinichi Shirakawa
    • 雑誌名

      Proceedings of the Genetic and Evolutionary Computation Conference (GECCO 2024)

      巻: - ページ: 656-664

    • DOI

      10.1145/3638529.3654198

    • 関連する報告書
      2023 実績報告書
    • 査読あり
  • [雑誌論文] How to Make Multi-Objective Evolutionary Algorithms Invariant to Monotonically Increasing Transformation of Objective Functions2024

    • 著者名/発表者名
      Yutaro Yamada, Kento Uchida, Shinichi Shirakawa
    • 雑誌名

      Proceedings of the Genetic and Evolutionary Computation Conference Companion (GECCO 2024, Poster Paper)

      巻: - ページ: 383-386

    • DOI

      10.1145/3638530.3654381

    • 関連する報告書
      2023 実績報告書
    • 査読あり
  • [学会発表] ドメイン知識を考慮した特徴量構築の言語モデルによる自動化2023

    • 著者名/発表者名
      広瀬 陽一,白川 真一
    • 学会等名
      2023年度 人工知能学会全国大会 (第37回)
    • 関連する報告書
      2023 実績報告書
  • [学会発表] ドメインシフト時のオープンセット認識におけるドメイン汎化手法の評価と改良2023

    • 著者名/発表者名
      野口 将嗣,白川 真一
    • 学会等名
      2023年度 人工知能学会全国大会 (第37回)
    • 関連する報告書
      2023 実績報告書
  • [学会発表] 特徴選択と特徴間の相互作用を組み込んだNeural Additive Modelsの提案2023

    • 著者名/発表者名
      岸本 泰俊,山西 康太,松田 拓也,白川 真一
    • 学会等名
      2023年度 人工知能学会全国大会 (第37回)
    • 関連する報告書
      2023 実績報告書
  • [学会発表] 文脈付き最適化問題のためのCMA-ESのWarm Startingの提案2023

    • 著者名/発表者名
      関野 裕太,内田 絢斗,白川 真一
    • 学会等名
      進化計算シンポジウム2023
    • 関連する報告書
      2023 実績報告書
  • [学会発表] 目的関数の単調増加変換に不変性を与える多目的最適化フレームワークの提案2023

    • 著者名/発表者名
      山田 裕太郎,内田 絢斗,白川 真一
    • 学会等名
      進化計算シンポジウム2023
    • 関連する報告書
      2023 実績報告書
  • [学会発表] Safe OptimizationのためのCMA-ESの提案2023

    • 著者名/発表者名
      内田 絢斗,濱野 椋希,野村 将寛,斉藤 翔汰,白川 真一
    • 学会等名
      進化計算シンポジウム2023
    • 関連する報告書
      2023 実績報告書

URL: 

公開日: 2023-04-18   更新日: 2024-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi