Reconstruction and Application of Learning Methods for Symbolic Regression Models

• Project/Area Number: 23K28156
• Project/Area Number (Other): 23H03466 (2023)
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Multi-year Fund (2024); Single-year Grants (2023)
• Section: 一般
• Review Section: Basic Section 61040:Soft computing-related
• Research Institution: Yokohama National University
• Principal Investigator: 白川 真一 横浜国立大学, 大学院環境情報研究院, 教授 (90633272)
• Project Period (FY): 2023-04-01 – 2028-03-31
• Project Status: Granted (Fiscal Year 2024)
• Budget Amount: ¥18,200,000 (Direct Cost: ¥14,000,000、Indirect Cost: ¥4,200,000); Fiscal Year 2027: ¥3,640,000 (Direct Cost: ¥2,800,000、Indirect Cost: ¥840,000); Fiscal Year 2026: ¥3,640,000 (Direct Cost: ¥2,800,000、Indirect Cost: ¥840,000); Fiscal Year 2025: ¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000); Fiscal Year 2024: ¥3,120,000 (Direct Cost: ¥2,400,000、Indirect Cost: ¥720,000); Fiscal Year 2023: ¥3,380,000 (Direct Cost: ¥2,600,000、Indirect Cost: ¥780,000)
• Keywords: 機械学習 / 進化計算 / 最適化 / 記号回帰モデル

Outline of Research at the Start

記号回帰モデルは基本的な演算や関数の組合せで表現されるため，解釈性が高い，軽量といった利点があるが，数式の「構造」を学習する必要があるため，ニューラルネットワーク（NN）のような効率的な学習が難しく，学習効率や性能に課題がある．本研究では，深層学習で利用されている方法論を積極的に取り入れつつ記号回帰モデルのための新規の学習方式を開発し，学習の効率化や性能向上を目指す．また，開発した学習方式を実問題へ応用し，その有効性を検証する．

Outline of Annual Research Achievements

2023年度は当初の計画に沿って，1) 記号回帰モデルのための効率的な学習アルゴリズムの基礎検討，2) ドメイン知識を利用した効果的な学習法の検討，3) 具体的なタスクでの開発方式の評価準備，などを推進した．項目 1)に関しては，特に記号回帰モデルの中間出力に対する勾配情報を学習に利用する方式を検討し，モデル構造とモデル内の連続パラメータの両方を最適化する方式の開発や記号回帰モデルの表現形式が最適化に与える影響を調査した．この方式では記号回帰モデルの構造と係数などの連続変数を同時に学習できる点で利点があり，基本的なベンチマーク関数へ適用し評価を行った．また，記号回帰モデルの学習に利用可能なブラックボックス最適化法の開発を行い，確率モデルベース進化計算法を基礎に，連続変数とカテゴリ変数を同時に最適化する方式やノイズ対処法などの開発を行った．ベンチマーク関数での評価を通して，これらの方式の有効性を確認している．項目 2)に関しては，大規模言語モデルを利用してデータセットのメタ情報から特徴構築のための記号回帰モデルを得る方法を開発し，大規模言語モデルを介した事前知識の利用を検討した．この方式は機械学習の特徴構築タスクにおいて性能評価を行い有効性を確認している．項目 3)としては，医療・ヘルスケアデータを対象にモデルの解釈性が求められるタスクの準備を進めた．また，解釈可能な機械学習モデルを参考にモデルの演算メカニズムの可視化方法等を検討した．

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

当初の計画に沿って，記号回帰モデルの学習アルゴリズムやドメイン知識の利用方法の検討，具体的なタスクでの評価の準備を進めており，研究発表も行っているなど，想定通りの進捗を得たものと考えている．

Strategy for Future Research Activity

今後はこれまでの検討事項や成果をもとに，記号回帰モデルの学習法を発展させるべく研究を推進していく．まず，記号回帰モデルの学習アルゴリズムの基礎検討に関して，これまでに開発した方式を継続して洗練化するとともに新規方式にも着手する．また，記号回帰モデルの学習に応用可能な最適化アルゴリズムの効率化・拡張等を実施する．開発方式の効率性を記号回帰モデルのベンチマーク問題などで評価する．次に，モデルの性能を高める効果的な学習法の開発として，ドメイン知識の学習への利用などを推進する．特徴構築や船舶のシステム同定などのタスクを想定し，利用できるドメイン知識の整理や効果的な利用方法を開発していく．また，大規模言語モデルを記号回帰モデルの学習に利用する方法についても検討を継続する．さらに，現実的なタスクで評価し実用性を高めるため，物理現象との関わりが深いタスクやモデル解釈性が求められるタスクへの応用を推進する．

Research Products

• [Journal Article] Neural Additive and Basis Models with Feature Selection and Interactions (2024)
  • Author(s): Yasutoshi Kishimoto, Kota Yamanishi, Takuya Matsuda, Shinichi Shirakawa
  • Journal Title: Proceedings of the 28th Pacific-Asia Conference on Knowledge Discovery and Data Mining (PAKDD 2024), Part III, LNAI, Springer Volume: 14647 Pages: 3-16
  • DOI: 10.1007/978-981-97-2259-4_1
  • ISBN: 9789819722617, 9789819722594
  • Peer Reviewed
• [Journal Article] Simple Domain Generalization Methods are Strong Baselines for Open Domain Generalization (2024)
  • Author(s): Masashi Noguchi, Shinichi Shirakawa
  • Journal Title: Proceedings of the International Joint Conference on Neural Networks (IJCNN 2024) Volume: －
  • Peer Reviewed
• [Journal Article] CMA-ES for Safe Optimization (2024)
  • Author(s): Kento Uchida, Ryoki Hamano, Masahiro Nomura, Shota Saito, Shinichi Shirakawa
  • Journal Title: Proceedings of the Genetic and Evolutionary Computation Conference (GECCO 2024) Volume: － Pages: 722-730
  • DOI: 10.1145/3638529.3654193
  • Peer Reviewed
• [Journal Article] CMA-ES with Adaptive Reevaluation for Multiplicative Noise (2024)
  • Author(s): Kento Uchida, Kenta Nishihara, Shinichi Shirakawa
  • Journal Title: Proceedings of the Genetic and Evolutionary Computation Conference (GECCO 2024) Volume: － Pages: 731-739
  • DOI: 10.1145/3638529.3654182
  • Peer Reviewed
• [Journal Article] CatCMA : Stochastic Optimization for Mixed-Category Problems (2024)
  • Author(s): Ryoki Hamano, Shota Saito, Masahiro Nomura, Kento Uchida, Shinichi Shirakawa
  • Journal Title: Proceedings of the Genetic and Evolutionary Computation Conference (GECCO 2024) Volume: － Pages: 656-664
  • DOI: 10.1145/3638529.3654198
  • Peer Reviewed
• [Journal Article] How to Make Multi-Objective Evolutionary Algorithms Invariant to Monotonically Increasing Transformation of Objective Functions (2024)
  • Author(s): Yutaro Yamada, Kento Uchida, Shinichi Shirakawa
  • Journal Title: Proceedings of the Genetic and Evolutionary Computation Conference Companion (GECCO 2024, Poster Paper) Volume: － Pages: 383-386
  • DOI: 10.1145/3638530.3654381
  • Peer Reviewed
• [Presentation] ドメイン知識を考慮した特徴量構築の言語モデルによる自動化 (2023)
  • Author(s): 広瀬 陽一，白川 真一
  • Organizer: 2023年度 人工知能学会全国大会 (第37回)
• [Presentation] ドメインシフト時のオープンセット認識におけるドメイン汎化手法の評価と改良 (2023)
  • Author(s): 野口 将嗣，白川 真一
  • Organizer: 2023年度 人工知能学会全国大会 (第37回)
• [Presentation] 特徴選択と特徴間の相互作用を組み込んだNeural Additive Modelsの提案 (2023)
  • Author(s): 岸本 泰俊，山西 康太，松田 拓也，白川 真一
  • Organizer: 2023年度 人工知能学会全国大会 (第37回)
• [Presentation] 文脈付き最適化問題のためのCMA-ESのWarm Startingの提案 (2023)
  • Author(s): 関野 裕太，内田 絢斗，白川 真一
  • Organizer: 進化計算シンポジウム2023
• [Presentation] 目的関数の単調増加変換に不変性を与える多目的最適化フレームワークの提案 (2023)
  • Author(s): 山田 裕太郎，内田 絢斗，白川 真一
  • Organizer: 進化計算シンポジウム2023
• [Presentation] Safe OptimizationのためのCMA-ESの提案 (2023)
  • Author(s): 内田 絢斗，濱野 椋希，野村 将寛，斉藤 翔汰，白川 真一
  • Organizer: 進化計算シンポジウム2023