MDL原理に基づくBayesian Networkの学習-事前知識の導入による探索の効率化-

1998 Fiscal Year Annual Research Report

• Project/Area Number: 09680367
• Research Institution: Osaka University
• Principal Investigator: 鈴木 譲 大阪大学, 大学院・理学研究科, 助教授 (50216397)
• Co-Investigator(Kenkyū-buntansha): 佐竹 郁夫 大阪大学, 大学院・理学研究科, 助手 (80243161) ; 菊池 和徳 大阪大学, 大学院・理学研究科, 助手 (40252572) ; 高橋 智 大阪大学, 大学院・理学研究科, 講師 (70226835) ; 永友 清和 大阪大学, 大学院・理学研究科, 助教授 (90172543) ; 村上 順 大阪大学, 大学院・理学研究科, 助教授 (90157751)
• Keywords: MDL原理 / Bayesian Network / 機械学習 / 事前知識 / 分岐限定法

Research Abstract

不確実な知識を確率を用いて表現し、何らかの推論を進めていく際に、Bayesian networkが頻繁に適用され、最近では、経営診断、医療診断、故障診断といった、分析診断型の問題に多くの実績を残している。Bayesian networkは、各属性データをノードで、その因果関係をノード間を結ぶ有向アークで示す、いわゆるDAG(directed acyclic graph)として表現される。特に、各ノードAの属性データX_Aは、有向アーク(A←B_i)を介して親にあたるノードB_iの属性データの値X_<B_1>,i=1,2,・・・,m,を前提にした条件付確率P(X_A|X_<B_1>,X_<B_2>,・・・,X_<B_m>)に基づいて生成されるという仮定がおかれる。すなわち、ノードの集合が事前に与えられれば、有向アークをどのように結ぶか(構造の決定)と、条件付確率をいかに設定するか(パラメータの推定)を検討して、Bayesian networkが決定される。Bayesian networkの推論は、一部のノードに事実として具体的な属性データを与えておき、他のノードの属性データの値をBayes統計学でいう事後確率最大の基準で推定する(未知属性データのおこりうる各値の確率を付与する推論も可能である。)処理に相当する。
本研究では、推論を行なう前にBayesian networkを最初にいかに獲得するか、特にその構造の決定について議論をすすめた。Bayesian networkは視覚的に表現されるので、エキスパートがその知識を直接Bayesian networkの形式で記述してもよい。しかし、大規模なnetworkでは、その作業量が膨大になることと、エキスパートの潜在意識にある知識が表現されないことなどから、トレーニングデータからの自動学習が検討されるに至っている。本研究では、この問題についてminimum description length(MDL)原理に基づいて解決する方法を示した。一般に、MDL原理は、トレーニングデータを、知識の記述と、その知識に基づいたトレーニングデータの記述の2段階で記述し、その合計の記述長(ビット数)を最小にする知識を採択する。MDL原理は、前者を知識の記述長(知識の簡潔さを表す)、後者をその知識では説明できない例外の記述長(データの知識への適合性を表す)とみなせば、データ圧縮の立場からその両者について最もバランスのとれた知識を真の知識とみなす学習原理であるということができる。
特に、構造決定の探索に分岐限定法を用いて、効率良く最適解を求める方法を見い出した。この結果は、電子情報通信学会論文誌 英文誌 分冊D(1999年2月)に掲載された。

Research Products

• [Publications] Joe Suzuki: "A Further Result on the Narkor Chsim Model of GAA and thei Application to SA-like strategy" IEEE Trans on Systems,Man,and Cybernet.is. Vol.28,No.1. 95-102 (1998)
• [Publications] Joe Suzuki: "A Relashims hip between Context Tree Weighting and General Weighting techniques for Tree Sources" IEICE Trans on Fundomentals. Vol.81-A,No.10. 2412-2417 (1998)
• [Publications] Joe Suzuki: "Learnign Bayesian Belief Networks Based on the MDL Rinceple:An effisient algorithm using the branch and board techniques" IEICE Trans.on Information and Systems. Vol.82-D,No.2. (1999)
• [Publications] Joseph Silverman and Joe Suzuki: "Elliptec Curre Discrete Loganchms and the Index Calculus" Lecture Note on Computer Science,Asia crypt'98. 1514. 110-125 (1998)
• [Publications] Harasawa,Shikata,Suzuki,Imai: "Comparing the MOD and FR reductions in Elliptic Curve Cryptography" Lecture Note on Computer Science,Eurocrypt'99. (to appear). (1999)
• [Publications] Hojo,Ryabku,Suzuki: "It is not enough to use stationary ergodic soruce for analyzing universal coding" Int.Symposium on Information theory and its applications. (1998)
• [Publications] 鈴木 譲,横尾英俊: "情報理論とその応用学会編,培風館" 情報源符号化とデータ圧縮-無歪みデータ圧縮(文筆), 18 (1999)