| Project/Area Number |
23K03863
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 21020:Communication and network engineering-related
|
|---|
| Research Institution | Waseda University |
|---|
Principal Investigator |
松嶋 敏泰 早稲田大学, 理工学術院, 教授 (30219430)
|
|---|
| Project Period (FY) |
2023-04-01 – 2027-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000)
Fiscal Year 2026: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2025: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2024: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2023: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
|
|---|
| Keywords | 決定木 / ベイズ決定理論 / ブースティング / 組み合わせ最適 / 集団学習アルゴリズム / 分類問題 / 回帰問題 / 機械学習 / 確率モデル / 情報源符号化 |
|---|
| Outline of Research at the Start |
機械学習の決定木は多様な分野で利用されているが，確率モデルからの理論的研究は少ない．本研究では決定木を木構造確率モデル（決定木モデル）として再定式化し，ベイズ決定理論から最適な予測法を導出する．その計算には決定木モデルの加重平均が必要で，木の深さの指数オーダの計算量となる．決定木モデルは情報理論のデータ圧縮での文脈木モデルと似た構造を持ち，ここで用いられるメタ木を利用することで最適性を保持した多項式オーダのアルゴリズムを構築可能する．また，潜在変数の導入と最適解導出，変分ベイズ法や探索理論を利用した準最適アルゴリズムの構築から，決定理論による決定木の高性能高効率アルゴリズムを提案する．
|
| Outline of Annual Research Achievements |
１）メタツリーを複数用いて予測を行う方法について，ブースティングによる構成法と集団予測法の研究を行った．まず回帰問題を扱い，特に，そこまでに得られたメタツリー集合に新たなメタツリーを追加していく際の予測性能評価法として，各メタツリーの予測値の重み付け法について詳細な実験のもとに考察を行った．また，メタツリー集合を構成したあと新たなデータに対する予測法についても，各メタツリーの予測値の重み付け法について同様な実験のもとに考察を行った．実験データについては人工データとベンチマークデータを用い本研究の様々ば重み付け法の比較と従来研究のランダムフォレスト法や勾配ブースティング法との比較もおこなっている
２）決定木を用いた集団学習法として，代表的な複数の決定木の集合を構成する手法としてバギングやブースティングがある．これらの手法は最終的には複数の例えばB本の決定木の予測値の多数決や重み付け平均により新たなデータに対する予測を行っているが，構成の途中ではB本の決定木の総合予測値は評価せず，決定木個別の予測値を評価したり，一部の決定木集合の予測値の組み合わせのみを評価しながら，B本の決定木を構成していた．本研究では，初期からB本の決定木の組を保持しそれを成長させ，そのB本を組み合わせた予測値を評価しながら，性能の良いB本の決定木の組を探索的に構成していく方法のフレームワークを提案した．このフレームワークでは，保持している組の決定木の成長と，その組み合わによる予測値の評価による選択を繰り返すことによりアルゴリズムが構成され，それには様々なバリエーションが考えられる．その代表的なものについて，人工データとベンチマークデータにより，その特性の考察を行い，従来研究のランダムフォレストとの比較も行った．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
研究実績の概要で述べた１）２）の研究について，以下の３つの国際学会のすでに投稿を行った．
IJCAI 2024, the 33rd International Joint Conference on Artificial Intelligence.
UAI 2024, the 40th Conference on Uncertainty in Artificial Intelligence.
IEEE (SMC) 2024, IEEE International Conference on Systems, Man, and Cybernetics.
|
| Strategy for Future Research Activity |
１）メタツリーのブースティング的構成法については，分類問題を中心に，重み付けや中間評価値などで，より細かい設定のバリエーションを考え，予測性能の及ぼす影響について考察を行う
２）決定木の組を保持し，その重み付け予測値等の組み合わせの評価を行いながら予測性能の良い決定木を構成していく方法のフレームワークを，分類問題にも適用する．またブースティング法との比較も行っていく．
|
