2023 Fiscal Year Annual Research Report
Reconstruction and Application of Learning Methods for Symbolic Regression Models
| Project/Area Number |
23H03466
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | Yokohama National University |
|---|
Principal Investigator |
白川 真一 横浜国立大学, 大学院環境情報研究院, 准教授 (90633272)
|
|---|
| Project Period (FY) |
2023-04-01 – 2028-03-31
|
| Keywords | 機械学習 / 進化計算 / 最適化 / 記号回帰モデル |
|---|
| Outline of Annual Research Achievements |
2023年度は当初の計画に沿って，1) 記号回帰モデルのための効率的な学習アルゴリズムの基礎検討，2) ドメイン知識を利用した効果的な学習法の検討，3) 具体的なタスクでの開発方式の評価準備，などを推進した．項目 1)に関しては，特に記号回帰モデルの中間出力に対する勾配情報を学習に利用する方式を検討し，モデル構造とモデル内の連続パラメータの両方を最適化する方式の開発や記号回帰モデルの表現形式が最適化に与える影響を調査した．この方式では記号回帰モデルの構造と係数などの連続変数を同時に学習できる点で利点があり，基本的なベンチマーク関数へ適用し評価を行った．また，記号回帰モデルの学習に利用可能なブラックボックス最適化法の開発を行い，確率モデルベース進化計算法を基礎に，連続変数とカテゴリ変数を同時に最適化する方式やノイズ対処法などの開発を行った．ベンチマーク関数での評価を通して，これらの方式の有効性を確認している．項目 2)に関しては，大規模言語モデルを利用してデータセットのメタ情報から特徴構築のための記号回帰モデルを得る方法を開発し，大規模言語モデルを介した事前知識の利用を検討した．この方式は機械学習の特徴構築タスクにおいて性能評価を行い有効性を確認している．項目 3)としては，医療・ヘルスケアデータを対象にモデルの解釈性が求められるタスクの準備を進めた．また，解釈可能な機械学習モデルを参考にモデルの演算メカニズムの可視化方法等を検討した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初の計画に沿って，記号回帰モデルの学習アルゴリズムやドメイン知識の利用方法の検討，具体的なタスクでの評価の準備を進めており，研究発表も行っているなど，想定通りの進捗を得たものと考えている．
|
| Strategy for Future Research Activity |
今後はこれまでの検討事項や成果をもとに，記号回帰モデルの学習法を発展させるべく研究を推進していく．まず，記号回帰モデルの学習アルゴリズムの基礎検討に関して，これまでに開発した方式を継続して洗練化するとともに新規方式にも着手する．また，記号回帰モデルの学習に応用可能な最適化アルゴリズムの効率化・拡張等を実施する．開発方式の効率性を記号回帰モデルのベンチマーク問題などで評価する．次に，モデルの性能を高める効果的な学習法の開発として，ドメイン知識の学習への利用などを推進する．特徴構築や船舶のシステム同定などのタスクを想定し，利用できるドメイン知識の整理や効果的な利用方法を開発していく．また，大規模言語モデルを記号回帰モデルの学習に利用する方法についても検討を継続する．さらに，現実的なタスクで評価し実用性を高めるため，物理現象との関わりが深いタスクやモデル解釈性が求められるタスクへの応用を推進する．
|
-
-
-
[Journal Article] CMA-ES for Safe Optimization2024
Author(s)
Kento Uchida, Ryoki Hamano, Masahiro Nomura, Shota Saito, Shinichi Shirakawa
-
Journal Title
Proceedings of the Genetic and Evolutionary Computation Conference (GECCO 2024)
Volume: －
Pages: －
DOI
Peer Reviewed
-
-
-
-
-
-
-
-
-
