Construction of Bayesian Optimal Decision Tree Algorithm Using Metatree and Latent Class Tree by Information Theory

2023 Fiscal Year Research-status Report

• Project/Area Number: 23K03863
• Research Institution: Waseda University
• Principal Investigator: 松嶋 敏泰 早稲田大学, 理工学術院, 教授 (30219430)
• Project Period (FY): 2023-04-01 – 2027-03-31
• Keywords: 決定木 / ベイズ決定理論 / ブースティング / 組み合わせ最適 / 集団学習アルゴリズム / 分類問題 / 回帰問題

Outline of Annual Research Achievements

１）メタツリーを複数用いて予測を行う方法について，ブースティングによる構成法と集団予測法の研究を行った．まず回帰問題を扱い，特に，そこまでに得られたメタツリー集合に新たなメタツリーを追加していく際の予測性能評価法として，各メタツリーの予測値の重み付け法について詳細な実験のもとに考察を行った．また，メタツリー集合を構成したあと新たなデータに対する予測法についても，各メタツリーの予測値の重み付け法について同様な実験のもとに考察を行った．実験データについては人工データとベンチマークデータを用い本研究の様々ば重み付け法の比較と従来研究のランダムフォレスト法や勾配ブースティング法との比較もおこなっている

２）決定木を用いた集団学習法として，代表的な複数の決定木の集合を構成する手法としてバギングやブースティングがある．これらの手法は最終的には複数の例えばB本の決定木の予測値の多数決や重み付け平均により新たなデータに対する予測を行っているが，構成の途中ではB本の決定木の総合予測値は評価せず，決定木個別の予測値を評価したり，一部の決定木集合の予測値の組み合わせのみを評価しながら，B本の決定木を構成していた．本研究では，初期からB本の決定木の組を保持しそれを成長させ，そのB本を組み合わせた予測値を評価しながら，性能の良いB本の決定木の組を探索的に構成していく方法のフレームワークを提案した．このフレームワークでは，保持している組の決定木の成長と，その組み合わによる予測値の評価による選択を繰り返すことによりアルゴリズムが構成され，それには様々なバリエーションが考えられる．その代表的なものについて，人工データとベンチマークデータにより，その特性の考察を行い，従来研究のランダムフォレストとの比較も行った．

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

研究実績の概要で述べた１）２）の研究について，以下の３つの国際学会のすでに投稿を行った．
IJCAI 2024, the 33rd International Joint Conference on Artificial Intelligence.

UAI 2024, the 40th Conference on Uncertainty in Artificial Intelligence.

IEEE (SMC) 2024, IEEE International Conference on Systems, Man, and Cybernetics.

Strategy for Future Research Activity

１）メタツリーのブースティング的構成法については，分類問題を中心に，重み付けや中間評価値などで，より細かい設定のバリエーションを考え，予測性能の及ぼす影響について考察を行う

２）決定木の組を保持し，その重み付け予測値等の組み合わせの評価を行いながら予測性能の良い決定木を構成していく方法のフレームワークを，分類問題にも適用する．またブースティング法との比較も行っていく．

Causes of Carryover

本年度は研究成果の一部を，いくつかの国際学会に投稿するまでは行うことができた．これらの査読結果は次年度に出るため，それを受けて，国際学会における研究成果の発表を次年度に予定しており，次年度の助成金と合わせ使用する計画である．