MDL原理に基づくBayesian Networkの学習 -事前知識の導入による探索の効率化-

1997 Fiscal Year Annual Research Report

• Project/Area Number: 09680367
• Research Category: Grant-in-Aid for Scientific Research (C)
• Research Institution: Osaka University
• Principal Investigator: 鈴木 譲 大阪大学, 大学院・理学研究科, 講師 (50216397)
• Co-Investigator(Kenkyū-buntansha): 佐竹 郁夫 大阪大学, 大学院・理学研究科, 助手 (80243161) ; 菊池 和徳 大阪大学, 大学院・理学研究科, 助手 (40252572) ; 永友 清和 大阪大学, 大学院・理学研究科, 助教授 (90172543)
• Keywords: MDL原理 / Bayesian Network / 分岐限定法 / 帰納推論 / ネットワーク構造

Research Abstract

問題は、トレーニング系列からノード集合のどこを有向アークで結ぶかということであり、トレーニングデータからBayersian network の構造を自動獲得する問題と等価であることが示すことができる。
まず、木構造を前提としたときに導かれる、美しいアルゴリズムを見い出した。一般のネットワーク構造の場合の記述長を木構造の場合に適用すると、ある2点をアークで結ぶときに記述長が長くなるか短くなるかの判断が、2属性間の相互情報量がある一定値を越えるか否かであることと等価であることを導いたことになる。結局、Kruscalのアルゴリズムに適当なコストを与える問題になる。そして、従来のアルゴリズムは、すべてのアークが(無向グラフとして)連結される極大木を求めていたが、提案アルゴリズムでは一般に極大木ではない森が生成される。MDL原理は、この場合、ネットワーク構造の複雑さとトレーニング系列の適合性の妥協点を記述長という観点から見い出していることになる。
一般のネットワークでは、候補となるネットワーク構造の数は、総ノード数Nに関して指数的であり、すべての構造に対して記述長を計算してそれを最小にする構造を選択するという方法は現実的ではない。近年は、各種のヒューリステイックを導入して、最適に近い構造を選択する方法が検討されている。本研究では、分岐限定法を用いて最適な構造を選択しながら計算量を大幅に低減する方法を示した。通常の全探索ではノード数N=15が限界であったが、その分岐限定法で提案した下界を用いると、N=37で記述長の比較回数が従来と比較して10^<-5>程度になる。

Research Products

• [Publications] Joe Suzuki: "“A Fur ther Resuli on the Markov Chain Model of GAs and its Application to SA-like Strategy"" IEEE Trans. on SMC. Vol.28 No.1. (1998)
• [Publications] Joe Suzuki: "“Universal Prediction and Universal Coding"" IEEE Int. Symp. on Inform. Theory. (1998)
• [Publications] Joe Suzuki: "“On the Error Probability of Model Selection on Clossification" IEEE Int. Symp. on Inform. Theory. (1998)