2003 年度実績報告書

組合せ構造を持つ確率モデル構築のための学習理論

研究課題

研究課題/領域番号	14658106
研究機関	独立行政法人産業技術総合研究所
研究代表者	高畠一哉独立行政法人産業技術総合研究所, 脳神経情報部門, 主任研究員 (10344128)
研究分担者	神嶌敏弘独立行政法人産業技術総合研究所, 脳神経情報部門, 研究員 (50356820) 新田徹独立行政法人産業技術総合研究所, 脳神経情報部門, 主任研究員 (20357726) 赤穂昭太郎独立行政法人産業技術総合研究所, 脳神経情報部門, 主任研究員 (40356340) 藤木淳独立行政法人産業技術総合研究所, 脳神経情報部門, 研究員 (10357907) 西森康則独立行政法人産業技術総合研究所, 脳神経情報部門, 研究員 (00357724)
キーワード	確率モデル / 学習理論 / 組合せ構造 / グラフィカルモデル / マルコフチェーンモンテカルロ / 順序構造 / クラスタリング / 複素ニューラルネット
研究概要	項目「抽象概念を表す隠れ変数を持つモデルに関する研究」において本年度は,確率モデルとして昨今話題となっているグラフィカルモデルの中でMCMC(Markov Chain Monte Carlo)法について情報幾何学的見地から考察した.特にMCMCの一種であるGibbs samplerが系の持つ分布と目標となる分布の間のある種の擬距離(KLダイバージェンス)を各状態遷移ごとになるべく小さくするように振舞うある種の貪欲算法と解釈できるという理論的知見を得た. 項目「順序構造を扱うモデルに関する研究」において本年度は,順序応答を用いたフィルタリング技術と順序のクラスタリング手法を開発した.嗜好や感覚などの主観的な量を計測するのに順序は適している.この特徴を利用して,嗜好の類似したグループの意見を集約することでユーザが好むものを見つけ出す協調フィルタリングを行うことで,大きく予測精度を改善した.また,嗜好を順序を用いて測り,その順序をクラスタリングによって分類する手法を提案した.この手法によって,同じ傾向の嗜好を持つグループの検出や,各グループの嗜好の特徴を抽出できた. またこれらの項目以外でも当研究「組合せ構造を持つ確率モデルのための学習理論」の要素技術として複素ニューラルネットの計算能力の一端を明らかにした.まず,通常の実数型の単一ニューロンでは解くことができない排他的論理和問題(XOR問題)と対称性検出問題を,単一複素ニューロンを使って解くことができることを示した.その際,複素ニューロンの決定表面が直交した2つの超平面から構成されていることを利用した.次に,具体的な応用例として,通信分野におけるフェージング等化問題が単一複素ニューロンを使うことによって,うまく解けることを示した.その際にも直交した決定表面がうまく活用した.

研究成果

(6件)

すべてその他

すべて文献書誌 (6件)

[文献書誌] K.Takabatake: "Information Geometry of Gibbs Sampler"WSEAS Transactions on Systems. Issue 2 Vol.3. 449-454 (2004)
[文献書誌] T.Kamishima: "Nantonac Collaborative Filtering : Recommendation Based on Order Responses"Proc. of The 9th Int'l Conf. on Knowledge Discovery and Data Mining (KDD2003). 583-588 (2003)
[文献書誌] T.Kamishima, J.Fujiki: "Clustering Orders"Proc.of The 6th Int'l Conf.on Discovery Science (DS2003). 194-207 (2003)
[文献書誌] T.Nitta: "Solving the XOR Problem and the Detection of Symmetry Using a Single Complex-valued Neuron"Neural Networks. Vol.16 No.8. 1101-1105 (2003)
[文献書誌] T.Nitta: "Orthogonality of Decision Boundaries in Complex-Valued Neural Networks"Neural Computation. Vol.16 No.1. 73-97 (2004)
[文献書誌] Y.Nishimori: "A Neural Stiefel Learning Based on Geodesics Revisited"WSEAS Transactions on Systems. Issue 2 Vol.3. 513-519 (2004)

2003 年度 実績報告書

組合せ構造を持つ確率モデル構築のための学習理論

研究代表者

高畠 一哉 独立行政法人産業技術総合研究所, 脳神経情報部門, 主任研究員 (10344128)

研究成果

[文献書誌] K.Takabatake: "Information Geometry of Gibbs Sampler"WSEAS Transactions on Systems. Issue 2 Vol.3. 449-454 (2004)

[文献書誌] T.Kamishima: "Nantonac Collaborative Filtering : Recommendation Based on Order Responses"Proc. of The 9th Int'l Conf. on Knowledge Discovery and Data Mining (KDD2003). 583-588 (2003)

[文献書誌] T.Kamishima, J.Fujiki: "Clustering Orders"Proc.of The 6th Int'l Conf.on Discovery Science (DS2003). 194-207 (2003)

[文献書誌] T.Nitta: "Solving the XOR Problem and the Detection of Symmetry Using a Single Complex-valued Neuron"Neural Networks. Vol.16 No.8. 1101-1105 (2003)

[文献書誌] T.Nitta: "Orthogonality of Decision Boundaries in Complex-Valued Neural Networks"Neural Computation. Vol.16 No.1. 73-97 (2004)

[文献書誌] Y.Nishimori: "A Neural Stiefel Learning Based on Geodesics Revisited"WSEAS Transactions on Systems. Issue 2 Vol.3. 513-519 (2004)

2003 年度実績報告書

高畠一哉独立行政法人産業技術総合研究所, 脳神経情報部門, 主任研究員 (10344128)