組合せ構造を持つ確率モデル構築のための学習理論

2002 年度 実績報告書

• 研究課題/領域番号: 14658106
• 研究機関: 独立行政法人産業技術総合研究所
• 研究代表者: 高畠 一哉 独立行政法人産業技術総合研究所, 脳神経情報研究部門, 主任研究員 (10344128)
• 研究分担者: 神嶌 敏弘 独立行政法人産業技術総合研究所, 脳神経情報研究部門, 研究員 (50356820) ; 新田 徹 独立行政法人産業技術総合研究所, 脳神経情報研究部門, 主任研究員 (20357726) ; 赤穂 昭太郎 独立行政法人産業技術総合研究所, 脳神経情報研究部門, 主任研究員 (40356340) ; 藤木 淳 独立行政法人産業技術総合研究所, 脳神経情報研究部門, 研究員 (10357907) ; 西森 康則 独立行政法人産業技術総合研究所, 脳神経情報研究部門, 研究員 (00357724)
• キーワード: 確率モデル / 学習理論 / 順序構造 / 複素ニューラルネット / グラフィカルモデル / クラスタリング / 特異点 / 組合せ構造

研究概要

項目「抽象概念を表す隠れ変数を持つモデルに関する研究」において本年度は,観測データから対象の持つ確率モデルを推定する統計的手法としてemアルゴリズムを使う場合の理論的検討を行った.その結果emアルゴリズムによる学習が従来手法のAPN (Adaptive Probabilistic Network)と同様に局所最適解にトラップされてしまう例があるというネガティブな結果が得られた.また確率モデルとして昨今話題となっているグラフィカルモデルの中でMCMC (Markov Chain Monte Carlo)法の持つ意味を情報幾何学的見地から考察し理論的知見を得た.
項目「順序構造を扱うモデルに関する研究」において本年度は,順序構造扱うモデルの研究として新たに「順序例からの学習」の枠組みを提案した.他の学習・予測問題がカテゴリ変数や数値変数を扱うのに対し,この問題では,価格や嗜好といった基準について,どちらの対象が上位にあるかという順序を扱った.問題の枠組みとしては,順位を付与した対象列を訓練事例として,任意の対象集合を順序付けできる規則を獲得する.この順序は,嗜好や感覚などを扱う官能検査などの解析に適しており,人々の嗜好の傾向の予測や解析への適用を行った.
またこれらの項目以外でも当研究「組合せ構造を持つ確率モデルのための学習理論」の要素技術として複素ニューラルネットの理論的解析を行った.複素ニューラルネットにおけるパラメータの冗長性(異なるパラメータに対して入出力応答が一致する性質),危点(パラメータの微小変化に対してシステム応答が不変となる点)の理論的解析,及び判別問題に複素ニューラルネットを用いた場合の判定領域の性質について理論的知見が得られた.

研究成果

• [文献書誌] 神嶌 敏弘, 赤穂昭太郎, 元吉文男: "クラスタ例からの学習-クラスタ属性の利用"人工知能学会誌. 18巻2号. 86-95 (2003)
• [文献書誌] T.Kamishima, S.Akaho: "Learning form Order Examples"Proceedings of the 2002 IEEE International Conference on Data Mining. 645-648 (2002)
• [文献書誌] T.Nitta: "Redundancy of the Parameters of the Complex-valued Neural Network"Neurocomputing. Vol.49 No.1-4. 423-428 (2002)
• [文献書誌] T.Nitta: "On the Critical Points of the Complex-valued Neural Network"Proceedings of International Conference on Neural Information Processing. 3. 1099-1103 (2002)
• [文献書誌] T.Nitta: "Generalization of the Complex-valued Neural Networks with the Orthogonal Decision Boundary"Knowledge-based Intelligent Information Engineering Systems & Allied Technologies. 1. 628-632 (2002)