| 研究課題/領域番号 |
23K03863
|
|---|
| 研究種目 |
基盤研究(C)
|
| 配分区分 | 基金 |
|---|
| 応募区分 | 一般 |
|---|
| 審査区分 |
小区分21020:通信工学関連
|
|---|
| 研究機関 | 早稲田大学 |
|---|
研究代表者 |
松嶋 敏泰 早稲田大学, 理工学術院, 教授 (30219430)
|
|---|
| 研究期間 (年度) |
2023-04-01 – 2027-03-31
|
| 研究課題ステータス |
交付 (2023年度)
|
| 配分額 *注記 |
4,550千円 (直接経費: 3,500千円、間接経費: 1,050千円)
2026年度: 1,040千円 (直接経費: 800千円、間接経費: 240千円)
2025年度: 1,170千円 (直接経費: 900千円、間接経費: 270千円)
2024年度: 1,170千円 (直接経費: 900千円、間接経費: 270千円)
2023年度: 1,170千円 (直接経費: 900千円、間接経費: 270千円)
|
|---|
| キーワード | 決定木 / ベイズ決定理論 / ブースティング / 組み合わせ最適 / 集団学習アルゴリズム / 分類問題 / 回帰問題 / 機械学習 / 確率モデル / 情報源符号化 |
|---|
| 研究開始時の研究の概要 |
機械学習の決定木は多様な分野で利用されているが，確率モデルからの理論的研究は少ない．本研究では決定木を木構造確率モデル（決定木モデル）として再定式化し，ベイズ決定理論から最適な予測法を導出する．その計算には決定木モデルの加重平均が必要で，木の深さの指数オーダの計算量となる．決定木モデルは情報理論のデータ圧縮での文脈木モデルと似た構造を持ち，ここで用いられるメタ木を利用することで最適性を保持した多項式オーダのアルゴリズムを構築可能する．また，潜在変数の導入と最適解導出，変分ベイズ法や探索理論を利用した準最適アルゴリズムの構築から，決定理論による決定木の高性能高効率アルゴリズムを提案する．
|
| 研究実績の概要 |
１）メタツリーを複数用いて予測を行う方法について，ブースティングによる構成法と集団予測法の研究を行った．まず回帰問題を扱い，特に，そこまでに得られたメタツリー集合に新たなメタツリーを追加していく際の予測性能評価法として，各メタツリーの予測値の重み付け法について詳細な実験のもとに考察を行った．また，メタツリー集合を構成したあと新たなデータに対する予測法についても，各メタツリーの予測値の重み付け法について同様な実験のもとに考察を行った．実験データについては人工データとベンチマークデータを用い本研究の様々ば重み付け法の比較と従来研究のランダムフォレスト法や勾配ブースティング法との比較もおこなっている
２）決定木を用いた集団学習法として，代表的な複数の決定木の集合を構成する手法としてバギングやブースティングがある．これらの手法は最終的には複数の例えばB本の決定木の予測値の多数決や重み付け平均により新たなデータに対する予測を行っているが，構成の途中ではB本の決定木の総合予測値は評価せず，決定木個別の予測値を評価したり，一部の決定木集合の予測値の組み合わせのみを評価しながら，B本の決定木を構成していた．本研究では，初期からB本の決定木の組を保持しそれを成長させ，そのB本を組み合わせた予測値を評価しながら，性能の良いB本の決定木の組を探索的に構成していく方法のフレームワークを提案した．このフレームワークでは，保持している組の決定木の成長と，その組み合わによる予測値の評価による選択を繰り返すことによりアルゴリズムが構成され，それには様々なバリエーションが考えられる．その代表的なものについて，人工データとベンチマークデータにより，その特性の考察を行い，従来研究のランダムフォレストとの比較も行った．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
研究実績の概要で述べた１）２）の研究について，以下の３つの国際学会のすでに投稿を行った．
IJCAI 2024, the 33rd International Joint Conference on Artificial Intelligence.
UAI 2024, the 40th Conference on Uncertainty in Artificial Intelligence.
IEEE (SMC) 2024, IEEE International Conference on Systems, Man, and Cybernetics.
|
| 今後の研究の推進方策 |
１）メタツリーのブースティング的構成法については，分類問題を中心に，重み付けや中間評価値などで，より細かい設定のバリエーションを考え，予測性能の及ぼす影響について考察を行う
２）決定木の組を保持し，その重み付け予測値等の組み合わせの評価を行いながら予測性能の良い決定木を構成していく方法のフレームワークを，分類問題にも適用する．またブースティング法との比較も行っていく．
|
