不確実情報からの知識合成

2007 年度 研究成果報告書概要

• 研究課題/領域番号: 17300043
• 研究種目: 基盤研究(B)
• 配分区分: 補助金
• 応募区分: 一般
• 研究分野: 知能情報学
• 研究機関: 東京工業大学
• 研究代表者: 佐藤 泰介 東京工業大学, 大学院・情報理工学研究科, 教授 (90272690)
• 研究分担者: 亀谷 由隆 東京工業大学, 大学院・情報理工学研究科, 助教 (60361789)
• 研究期間 (年度): 2005 – 2007
• キーワード: 確率的モデリング言語 / PRISM / 変分ベイズ

研究概要

PRISMは将棋の戦略や文章の曖昧性の解決といった複雑な確率事象を表現し、事象の分布の統計的パラメータをデータから自動的に学習する能力を持つ、世界的に見てもユニークなプログラミング言語である。今年度は確率的モデリング言語としての能力を更に強化するため、様々な改良を行い、PRISM1.11として公開した。PRISM1.11では、
(1)PRISMの探索部分の実装言語であるB-Prologの最新バージョンであるB-Prolog7.0との統合を行い、メモリ効率を向上させた。
(2)並列EM学習が行えるようになった。確率文脈自由文法のパラメータ学習ではCPU数にほぼ比例して数十倍の速度向上がみられた。
(3)決定性のアニーリング方式に基づいたEM学習が利用できるようにした。これはEM学習の局所解の問題を避けるのに効果が期待できる。
(4)N-viterbiアルゴリズムを実装し、上位N個のビタビ解を求められるようにした。
(5)次に述べるようにベイズ的学習法である変分ベイズ学習法を実装した。
確率モデリングでは通常最尤推定に基づくパラメータ学習を行うが、PRISMでは新たにパラメータにディリクレ分布を事前分布として導入し、ディリクレ分布のハイパーパラメータを変分ベイズ学習により学習出来るようにした。そのためPRISM用の変分ベイズ学習アルゴリズムを導出し、実装した。PRISMの変分ベイ学習は従来知られていた隠れマルコフモデルや確率文脈自由文法をはるかに越える範囲の変分ベイズ学習を可能にしており、例えば、バイオフィフォマティクスで使われるプロファイル隠れマルコフモデルの変分ベイズ学習が可能になった。

研究成果

• [雑誌論文] Linear tabling strategies and optimization (2008)
  • 著者名/発表者名: Zhou, N.-F., Sato, T. and Shen, Y.-D.
  • 雑誌名: Theory and Practice of Logic Programming 8 ページ: 81-109
  • 説明: 「研究成果報告書概要(和文)」より
  • 査読あり
• [雑誌論文] Linear tabling strategies and optimization (2008)
  • 著者名/発表者名: Zhou, N.-F, Sato, T., Shen, Y.-D
  • 雑誌名: Theory and Practice of Logic Programming Vol. 8, No. 1 ページ: 81-109
  • 説明: 「研究成果報告書概要(欧文)」より
• [雑誌論文] New advances in logic-based probabilistic modeling by PRISM. (Book Chapter) (2008)
  • 著者名/発表者名: Sato, T., Kameya, Y
  • 雑誌名: Probabilistic Inductive Logic Programming, LNCS 4911, Springer ページ: 118-155
  • 説明: 「研究成果報告書概要(欧文)」より
• [雑誌論文] Discovering Concepts from Word Co-occurrences with a Relational Model (2007)
  • 著者名/発表者名: Kurihara, K., Kameya, Y. and Sato, T.
  • 雑誌名: Transactions of the Japanese Society for Artificial Intelligence 22 ページ: 218-226
  • 説明: 「研究成果報告書概要(和文)」より
  • 査読あり
• [雑誌論文] グラフィカルモデルにおける論理的アプローチ (2007)
  • 著者名/発表者名: 佐藤泰介, 亀谷由隆
  • 雑誌名: 人工知能学会誌 22 ページ: 306-319
  • 説明: 「研究成果報告書概要(和文)」より
• [雑誌論文] PRISM:確率モデリングのための論理プログラミング処理系 (2007)
  • 著者名/発表者名: 亀谷由隆, 佐藤泰介, 周能法, 泉祐介, 岩崎達也
  • 雑誌名: コンピュータソフトウェア 24 ページ: 2-22
  • 説明: 「研究成果報告書概要(和文)」より
  • 査読あり
• [雑誌論文] Discovering Concepts from Word Co-occurrences with a Relational Model (2007)
  • 著者名/発表者名: Kurihara, K., Kameya, D., Sato, T
  • 雑誌名: Transactions of the Japanese Society for Artificial Intelligence Vol. 22 ページ: 218-226
  • 説明: 「研究成果報告書概要(欧文)」より
• [雑誌論文] PRISM : A Logic Programming Language and System for Probabilistic Modeling (in Japanese) (2007)
  • 著者名/発表者名: Kameya, Y., Sato T., Zhou, N.-F., Izumi, Y., Iwasaki, T
  • 雑誌名: Computer Software Vol. 24 ページ: 2-22
  • 説明: 「研究成果報告書概要(欧文)」より
• [雑誌論文] Logical Approaches in Graphical Models (in Japanese) (2007)
  • 著者名/発表者名: Sato, T., Kameya, Y
  • 雑誌名: Journal of the Japanese Society for Artificial Intelligence Vol. 22, No. 3 ページ: 306-319
  • 説明: 「研究成果報告書概要(欧文)」より
• [雑誌論文] Negation elimination for finite PCFGs (Book Chapter) (2005)
  • 著者名/発表者名: Sato, T., Kameya, Y
  • 雑誌名: Logic-based Program Synthesis and Transformation, Springer LNCS 3573 ページ: 117-132
  • 説明: 「研究成果報告書概要(欧文)」より
• [学会発表] Inside-outside probability computation for belief propagation (2007)
  • 著者名/発表者名: Sato, T.
  • 学会等名: The 20th International Joint Conference on Artificial Intelligence(IJCAI 2007)
  • 発表場所: Hyderabad, India
  • 年月日: 2007-01-09
  • 説明: 「研究成果報告書概要(和文)」より
• [学会発表] Compiling Bayesian networks by symbolic probability calculation based on Zero-suppressed BDDs (2007)
  • 著者名/発表者名: Minato, S., Satoh, K. and Sato, T.
  • 学会等名: The 20th International Joint Conference on Artificial Intelligence(IJCAI 2007)
  • 発表場所: Hyderabad, India
  • 年月日: 2007-01-09
  • 説明: 「研究成果報告書概要(和文)」より
• [学会発表] Inside-outside probability computation for belief propagation. (2007)
  • 著者名/発表者名: Sato, T
  • 学会等名: The 20th International Joint Conference on Artificial Intelligence (IJCAI-2007)
  • 発表場所: Hyderabad, India
  • 年月日: 2007-01-09
  • 説明: 「研究成果報告書概要(欧文)」より
• [学会発表] Compiling Bayesian networks by symbolic probability calculation based on Zero-suppressed BDDs (2007)
  • 著者名/発表者名: Minato, S., Satoh, K., Sato, T
  • 学会等名: The 20th International Joint Conference on Artificial Intelligence (IJCAI-2007)
  • 発表場所: Hyderabad, India
  • 年月日: 2007-01-09
  • 説明: 「研究成果報告書概要(欧文)」より
• [学会発表] A Frequency-based Stochastic Blockmodel (2006)
  • 著者名/発表者名: Kurihara, K., Kameya, Y. and Sato, T.
  • 学会等名: The 2006 Workshop on Information-Based Induction Science(IBIS 2006)
  • 発表場所: Osaka, Japan
  • 年月日: 2006-11-02
  • 説明: 「研究成果報告書概要(和文)」より
• [学会発表] A Frequency-based Stochastic Blockmodel (2006)
  • 著者名/発表者名: Kurihara, K., Kameya, Y., Sato, T
  • 学会等名: The 2006 Workshop on Information-Based Induction Science (IBIS 2006)
  • 発表場所: Osaka, Japan
  • 年月日: 2006-11-02
  • 説明: 「研究成果報告書概要(欧文)」より
• [学会発表] Parallel EM Learning for Symbolic-Statistical Models (2006)
  • 著者名/発表者名: Izumi, Y., Kameya, Y., and Sato, T.
  • 学会等名: The International Workshop on Data Mining and Statistical Science(DMSS 2006)
  • 発表場所: Sapporo, Japan
  • 年月日: 2006-09-25
  • 説明: 「研究成果報告書概要(和文)」より
• [学会発表] Parallel EM Learning for Symbolic-Statistical Models (2006)
  • 著者名/発表者名: Izumi, Y., Kameya, Y., Sato, T
  • 学会等名: The International Workshop on Data Mining and Statistical Science (DMSS2006)
  • 発表場所: Sapporo, Japan
  • 年月日: 2006-09-25
  • 説明: 「研究成果報告書概要(欧文)」より
• [学会発表] Variational Bayesian Grammar Induction for Natural Language (2006)
  • 著者名/発表者名: Kurihara, K. and Sato, T.
  • 学会等名: The 8th International Colloquium on Grammatical Inference(ICGI 2006)
  • 発表場所: Tokyo, Japan
  • 年月日: 2006-09-20
  • 説明: 「研究成果報告書概要(和文)」より
• [学会発表] Variational Bayesian Grammar Induction for Natural Language (2006)
  • 著者名/発表者名: Kurihara, K., Sato, T
  • 学会等名: The 8th International Colloquium on Grammatical Inference (ICGI-2006)
  • 発表場所: Tokyo, Japan
  • 年月日: 2006-09-20
  • 説明: 「研究成果報告書概要(欧文)」より
• [学会発表] A Generic Approach to EM Learning for Symbolic-Statistical Models (2005)
  • 著者名/発表者名: Sato, T.
  • 学会等名: The 4th Learning Language in Logic Workshop
  • 発表場所: Bonn, Germany
  • 年月日: 2005-08-07
  • 説明: 「研究成果報告書概要(和文)」より
• [学会発表] A Generic Approach to EM Learning for Symbolic-Statistical Models (2005)
  • 著者名/発表者名: Sato, T
  • 学会等名: The 4th Learning Language in Logic Workshop (LLL05)
  • 発表場所: Bonn, Germany
  • 年月日: 2005-08-07
  • 説明: 「研究成果報告書概要(欧文)」より
• [学会発表] Generative modeling with failure in PRISM (2005)
  • 著者名/発表者名: Sato, T., Kameya, Y. and Zhou, N.-F.
  • 学会等名: The 19th International Joint Conference on Artificial Intelligence
  • 発表場所: Edinburgh, UK
  • 年月日: 2005-08-02
  • 説明: 「研究成果報告書概要(和文)」より
• [学会発表] Generative modeling with failure in PRISM (2005)
  • 著者名/発表者名: Sato, T., Kameya, Y., Zhou, N.-F
  • 学会等名: The 19th International Joint Conference on Artificial Intelligence (IJCAI2005)
  • 発表場所: Edinburgh, UK
  • 年月日: 2005-08-02
  • 説明: 「研究成果報告書概要(欧文)」より
• [図書] Probabilistic Inductive Logic Programming (章担当: New Advances in Logic-Based Probabilistic Modeling by PRISM) (2008)
  • 著者名/発表者名: Sato, T. and Kameya, Y.
  • 総ページ数: 38(118-155)
  • 出版者: Springer
  • 説明: 「研究成果報告書概要(和文)」より
• [図書] Logic-based Program Synthesis and Transformation(章担当:Negation elimination for finite PCFGs) (2005)
  • 著者名/発表者名: Sato, T. and Kameya, Y.
  • 総ページ数: 16(117-132)
  • 出版者: Springer
  • 説明: 「研究成果報告書概要(和文)」より
• [備考] 「研究成果報告書概要(和文)」より
  • URL: http://sato-www.cs.titech.ac.jp/ja/publication/
• [備考] 「研究成果報告書概要(和文)」より
  • URL: http://sato-www.cs.titech.ac.jp/prism/