組み合せ構造を持つ確率モデル構築のための学習理論

• 研究課題/領域番号: 14658106
• 研究種目: 萌芽研究
• 配分区分: 補助金
• 研究分野: 知能情報学
• 研究機関: 独立行政法人産業技術総合研究所
• 研究代表者: 高畠 一哉 独立行政法人産業技術総合研究所, 脳神経情報研究部門, 主任研究員 (10344128)
• 研究分担者: 赤穂 昭太郎 独立行政法人産業技術総合研究所, 脳神経情報研究部門, 主任研究員 (40356340) ; 新田 徹 独立行政法人産業技術総合研究所, 脳神経情報研究部門, 主任研究員 (20357726) ; 神嶌 敏弘 独立行政法人産業技術総合研究所, 脳神経情報研究部門, 研究員 (50356820) ; 西森 康則 独立行政法人産業技術総合研究所, 脳神経情報研究部門, 研究員 (00357724) ; 藤木 淳 独立行政法人産業技術総合研究所, 脳神経情報研究部門, 研究員 (10357907)
• 研究期間 (年度): 2002 – 2004
• 研究課題ステータス: 完了 (2004年度)
• 配分額: 3,100千円 (直接経費: 3,100千円); 2004年度: 1,000千円 (直接経費: 1,000千円); 2003年度: 1,000千円 (直接経費: 1,000千円); 2002年度: 1,100千円 (直接経費: 1,100千円)
• キーワード: 確率モデル / 学習理論 / 情報幾何 / 複素ニューラルネット / グラフィカルモデル / マルコフチェーンモンテカルロ / 特異点 / 組み合わせ構造 / 組合せ構造 / 順序構造 / クラスタリング

研究概要

1.MCMC(Markov chain Monte-Carlo)法においてモンテカルロ積分を速く収束させる手法を提案した.本手法はマルコフ連鎖の推移において系が同じ状態をなるべく取らないように推移行列を設計するものである.本手法の優位性を理論と実験の両面から示した.
2.MCMC法の一種であるGibbs sampler法は状態推移において1つの変数のみを更新するが,複数の変数を同時に更新する手法を提案した.本手法は単一変数更新の通常のGibbs sampler法に比べ,分布の収束の速さや得られる乱数列の独立性において優位であり,計算量も同じオーダーである.さらに数値実験により本手法の優位性を示した.
3.複数の確率分布があるとき,これらを最も良く近似する低次元のパラメータのなす多様体を求める手法を提案した.多様体をe-平坦なものに取るe-PCAとm-平坦なものに取るm-PCAが考えられる.本手法では反復法により多様体を変形し近似する多様体を求める.これは大域的最適解に至る保証は無いものの,初期の多様体をうまく選ぶ方法を与え,実験的にも良い結果が得られた.
4.複素ニューラルネットワークの計算能力を落とさずにネットワークの大きさを小さくするための十分条件を明らかにした.

研究成果

• [雑誌論文] Information geometry of Gibbs samplers (2004)
  • 著者名/発表者名: K.Takabatake
  • 雑誌名: WSEAS Transactions on Systems Vol.2,No.3 ページ: 449-454
• [雑誌論文] More aggressive updating than Gibbs sampler (2004)
  • 著者名/発表者名: K.Takabatake, S.Akaho
  • 雑誌名: Proc.of int.nonlinear theory and its applications ページ: 493-496
• [雑誌論文] e-PCA and m-PCA : Dimension reduction of parameters by information geometry (2004)
  • 著者名/発表者名: S.Akaho
  • 雑誌名: Proc.of int.joint conf.on neural networks Vol.1 ページ: 129-134
• [雑誌論文] Active update in single component MCMC for discrete variables (2004)
  • 著者名/発表者名: S.Akaho, K.Takabatake
  • 雑誌名: Proc.of int.nonlinear theory and its applications ページ: 489-492
• [雑誌論文] Reducibility of the complex-valued neural network (2004)
  • 著者名/発表者名: T.Nitta
  • 雑誌名: Neural information processing - letters and reviews Vol.2,No.4 ページ: 53-66
• [文献書誌] K.Takabatake: "Information Geometry of Gibbs Sampler"WSEAS Transactions on Systems. Issue 2 Vol.3. 449-454 (2004)
• [文献書誌] T.Kamishima: "Nantonac Collaborative Filtering : Recommendation Based on Order Responses"Proc. of The 9th Int'l Conf. on Knowledge Discovery and Data Mining (KDD2003). 583-588 (2003)
• [文献書誌] T.Kamishima, J.Fujiki: "Clustering Orders"Proc.of The 6th Int'l Conf.on Discovery Science (DS2003). 194-207 (2003)
• [文献書誌] T.Nitta: "Solving the XOR Problem and the Detection of Symmetry Using a Single Complex-valued Neuron"Neural Networks. Vol.16 No.8. 1101-1105 (2003)
• [文献書誌] T.Nitta: "Orthogonality of Decision Boundaries in Complex-Valued Neural Networks"Neural Computation. Vol.16 No.1. 73-97 (2004)
• [文献書誌] Y.Nishimori: "A Neural Stiefel Learning Based on Geodesics Revisited"WSEAS Transactions on Systems. Issue 2 Vol.3. 513-519 (2004)
• [文献書誌] 神嶌 敏弘, 赤穂昭太郎, 元吉文男: "クラスタ例からの学習-クラスタ属性の利用"人工知能学会誌. 18巻2号. 86-95 (2003)
• [文献書誌] T.Kamishima, S.Akaho: "Learning form Order Examples"Proceedings of the 2002 IEEE International Conference on Data Mining. 645-648 (2002)
• [文献書誌] T.Nitta: "Redundancy of the Parameters of the Complex-valued Neural Network"Neurocomputing. Vol.49 No.1-4. 423-428 (2002)
• [文献書誌] T.Nitta: "On the Critical Points of the Complex-valued Neural Network"Proceedings of International Conference on Neural Information Processing. 3. 1099-1103 (2002)
• [文献書誌] T.Nitta: "Generalization of the Complex-valued Neural Networks with the Orthogonal Decision Boundary"Knowledge-based Intelligent Information Engineering Systems & Allied Technologies. 1. 628-632 (2002)