Construction of Bayesian Optimal Decision Tree Algorithm Using Metatree and Latent Class Tree by Information Theory

• Project/Area Number: 23K03863
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 21020:Communication and network engineering-related
• Research Institution: Waseda University
• Principal Investigator: 松嶋 敏泰 早稲田大学, 理工学術院, 教授 (30219430)
• Project Period (FY): 2023-04-01 – 2027-03-31
• Project Status: Granted (Fiscal Year 2023)
• Budget Amount: ¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000); Fiscal Year 2026: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000); Fiscal Year 2025: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000); Fiscal Year 2024: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000); Fiscal Year 2023: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
• Keywords: 機械学習 / 決定木 / ベイズ決定理論 / 確率モデル / 情報源符号化

Outline of Research at the Start

機械学習の決定木は多様な分野で利用されているが，確率モデルからの理論的研究は少ない．本研究では決定木を木構造確率モデル（決定木モデル）として再定式化し，ベイズ決定理論から最適な予測法を導出する．その計算には決定木モデルの加重平均が必要で，木の深さの指数オーダの計算量となる．決定木モデルは情報理論のデータ圧縮での文脈木モデルと似た構造を持ち，ここで用いられるメタ木を利用することで最適性を保持した多項式オーダのアルゴリズムを構築可能する．また，潜在変数の導入と最適解導出，変分ベイズ法や探索理論を利用した準最適アルゴリズムの構築から，決定理論による決定木の高性能高効率アルゴリズムを提案する．