組み合せ構造を持つ確率モデル構築のための学習理論

• Project/Area Number: 14658106
• Research Category: Grant-in-Aid for Exploratory Research
• Allocation Type: Single-year Grants
• Research Field: Intelligent informatics
• Research Institution: National Institute of Advanced Industrial Science and Technology
• Principal Investigator: 高畠 一哉 独立行政法人産業技術総合研究所, 脳神経情報研究部門, 主任研究員 (10344128)
• Co-Investigator(Kenkyū-buntansha): 赤穂 昭太郎 独立行政法人産業技術総合研究所, 脳神経情報研究部門, 主任研究員 (40356340) ; 新田 徹 独立行政法人産業技術総合研究所, 脳神経情報研究部門, 主任研究員 (20357726) ; 神嶌 敏弘 独立行政法人産業技術総合研究所, 脳神経情報研究部門, 研究員 (50356820) ; 西森 康則 独立行政法人産業技術総合研究所, 脳神経情報研究部門, 研究員 (00357724) ; 藤木 淳 独立行政法人産業技術総合研究所, 脳神経情報研究部門, 研究員 (10357907)
• Project Period (FY): 2002 – 2004
• Project Status: Completed (Fiscal Year 2004)
• Budget Amount: ¥3,100,000 (Direct Cost: ¥3,100,000); Fiscal Year 2004: ¥1,000,000 (Direct Cost: ¥1,000,000); Fiscal Year 2003: ¥1,000,000 (Direct Cost: ¥1,000,000); Fiscal Year 2002: ¥1,100,000 (Direct Cost: ¥1,100,000)
• Keywords: 確率モデル / 学習理論 / 情報幾何 / 複素ニューラルネット / グラフィカルモデル / マルコフチェーンモンテカルロ / 特異点 / 組み合わせ構造 / 組合せ構造 / 順序構造 / クラスタリング

Research Abstract

1.MCMC(Markov chain Monte-Carlo)法においてモンテカルロ積分を速く収束させる手法を提案した.本手法はマルコフ連鎖の推移において系が同じ状態をなるべく取らないように推移行列を設計するものである.本手法の優位性を理論と実験の両面から示した.
2.MCMC法の一種であるGibbs sampler法は状態推移において1つの変数のみを更新するが,複数の変数を同時に更新する手法を提案した.本手法は単一変数更新の通常のGibbs sampler法に比べ,分布の収束の速さや得られる乱数列の独立性において優位であり,計算量も同じオーダーである.さらに数値実験により本手法の優位性を示した.
3.複数の確率分布があるとき,これらを最も良く近似する低次元のパラメータのなす多様体を求める手法を提案した.多様体をe-平坦なものに取るe-PCAとm-平坦なものに取るm-PCAが考えられる.本手法では反復法により多様体を変形し近似する多様体を求める.これは大域的最適解に至る保証は無いものの,初期の多様体をうまく選ぶ方法を与え,実験的にも良い結果が得られた.
4.複素ニューラルネットワークの計算能力を落とさずにネットワークの大きさを小さくするための十分条件を明らかにした.

Research Products

• [Journal Article] Information geometry of Gibbs samplers (2004)
  • Author(s): K.Takabatake
  • Journal Title: WSEAS Transactions on Systems Vol.2,No.3 Pages: 449-454
• [Journal Article] More aggressive updating than Gibbs sampler (2004)
  • Author(s): K.Takabatake, S.Akaho
  • Journal Title: Proc.of int.nonlinear theory and its applications Pages: 493-496
• [Journal Article] e-PCA and m-PCA : Dimension reduction of parameters by information geometry (2004)
  • Author(s): S.Akaho
  • Journal Title: Proc.of int.joint conf.on neural networks Vol.1 Pages: 129-134
• [Journal Article] Active update in single component MCMC for discrete variables (2004)
  • Author(s): S.Akaho, K.Takabatake
  • Journal Title: Proc.of int.nonlinear theory and its applications Pages: 489-492
• [Journal Article] Reducibility of the complex-valued neural network (2004)
  • Author(s): T.Nitta
  • Journal Title: Neural information processing - letters and reviews Vol.2,No.4 Pages: 53-66
• [Publications] K.Takabatake: "Information Geometry of Gibbs Sampler"WSEAS Transactions on Systems. Issue 2 Vol.3. 449-454 (2004)
• [Publications] T.Kamishima: "Nantonac Collaborative Filtering : Recommendation Based on Order Responses"Proc. of The 9th Int'l Conf. on Knowledge Discovery and Data Mining (KDD2003). 583-588 (2003)
• [Publications] T.Kamishima, J.Fujiki: "Clustering Orders"Proc.of The 6th Int'l Conf.on Discovery Science (DS2003). 194-207 (2003)
• [Publications] T.Nitta: "Solving the XOR Problem and the Detection of Symmetry Using a Single Complex-valued Neuron"Neural Networks. Vol.16 No.8. 1101-1105 (2003)
• [Publications] T.Nitta: "Orthogonality of Decision Boundaries in Complex-Valued Neural Networks"Neural Computation. Vol.16 No.1. 73-97 (2004)
• [Publications] Y.Nishimori: "A Neural Stiefel Learning Based on Geodesics Revisited"WSEAS Transactions on Systems. Issue 2 Vol.3. 513-519 (2004)
• [Publications] 神嶌 敏弘, 赤穂昭太郎, 元吉文男: "クラスタ例からの学習-クラスタ属性の利用"人工知能学会誌. 18巻2号. 86-95 (2003)
• [Publications] T.Kamishima, S.Akaho: "Learning form Order Examples"Proceedings of the 2002 IEEE International Conference on Data Mining. 645-648 (2002)
• [Publications] T.Nitta: "Redundancy of the Parameters of the Complex-valued Neural Network"Neurocomputing. Vol.49 No.1-4. 423-428 (2002)
• [Publications] T.Nitta: "On the Critical Points of the Complex-valued Neural Network"Proceedings of International Conference on Neural Information Processing. 3. 1099-1103 (2002)
• [Publications] T.Nitta: "Generalization of the Complex-valued Neural Networks with the Orthogonal Decision Boundary"Knowledge-based Intelligent Information Engineering Systems & Allied Technologies. 1. 628-632 (2002)