情報幾何に基づく確率伝搬法の解析

2003 Fiscal Year Annual Research Report

• Project/Area Number: 14084208
• Research Institution: National Institute of Advanced Industrial Science and Technology
• Principal Investigator: 本村 陽一 独立行政法人産業技術総合研究所, デジタルヒューマン研究センター, 主任研究員 (30358171)
• Keywords: ベイジアンネット / 確率伝搬法 / 確率推論 / 確率モデル / 人工知能 / 近似計算

Research Abstract

ベイジアンネットにおける確率推論アルゴリズムについて調査を行い、性能を実験的に評価するためのプログラムを実装した。さらに、ノード数が20〜300までのペイジアンネットを自動的に生成しそれらに対する各種の確率推論アルゴリズム(Junction treeアルゴリズム、システマチックサンプリングアルゴリズム、確率伝搬法の一種であるLoopyBPアルゴリズム)の性質を調べあげた。
その結果、よく使われているJnnction treeアルゴリズムではノード数が300以上では、512MBメモリのPCではメモリ不足のために実行が不可能になること、ノード数が100の場合でも確率推論アルゴリズムの速度が10秒程度かかってしまう問題があることを明かにした。またその代替的な近似アルゴリズムであるシステマチックサンプリングでもノード数300では20秒以上かかっている。それに対しLoopyBPではノード数300で4.7秒と非常に高速であることを明かにした。これまでの推論アルゴリズムの実験評価(1999 K.Murphy et al.)では2種のベイジアンネットについてのみであったのに対し、本研究では様々なサイズのベイジアンネットについての網羅的な実験であり、これは他に類を見ないものである。
また、LoopyBPアルゴリズムの収束性についても実験評価を行い、条件付確率のエントロピーが収束性に大きな影響を与える性質があることを明らかにした。
この性質を使って、LoopyBPの収束性を改善する新しいアルゴリズムを考案し、特許出願を行った。解の精度については定性的な傾向は明かになったが、アルゴリズムの収束性と精度の間にはトレードオフが存在するため、その制御方法が今後の課題として明かになった。

Research Products

• [Publications] 本村 陽一: "ベイジアンネットによる確率的推論技術"計測と制御. 42・8. 649-654 (2003)
• [Publications] 本村 陽一: "ベイジアンネットソフトウェア BayoNet"計測と制御. 42・8. 693-694 (2003)
• [Publications] 本村 陽一: "ベイジアンネットワーク"電子情報通信学会技術研究報告NC. 103・228. 25-30 (2003)
• [Publications] 本村 陽一: "ベイジアンネットにおける確率推論アルゴリズムと実験評価"電子情報通信学会技術研究報告NC. 103・734. 157-162 (2004)
• [Publications] Yoichi Motomura: "Bayesian network : Probabilistic Reasoning, Statistical Learning, and Applications"Journal of Advanced Computational Intelligence and Intelligent Informatics. 8・2. 93-99 (2004)
• [Publications] 本村 陽一: "ベイジアンネットワーク:入門からヒューマンモデリングへの応用まで"「知識社会のための情報・統計科学」日本行動計量学会第七回セミナー講演論文集. 1・1. 22-37 (2004)
• [Publications] 渡辺澄夫, 他: "学習システムの理論と実現(第3章「ベイジアンネットワーク」)"森北出版. 210(30) (2004)