1997 Fiscal Year Annual Research Report
| Project/Area Number |
09268237
|
|---|
| Research Institution | Waseda University |
|---|
Principal Investigator |
松山 泰男 早稲田大学, 理工学部, 教授 (60125804)
|
|---|
| Keywords | EMアルゴリズム / 一般化対数 / 最尤推定 / 確率重み / 神経回路網 |
|---|
| Research Abstract |
研究成果は、次のような三つの項目として表される。
(a)一般化されたEMアルゴリズムの構築
一般化された分離情報量は対数の一般化クラスを与え、これに基づいてEMアルゴリズムを導出すると、従来のEMアルゴリズムを特別な場合として含む「確率重み付きEMアルゴリズム(WEM)」が得られた。そして、このアルゴリズムの導出に際して、フィッシャー情報量やフィッシャー・スコアーそしてクラメール・ラオの推定限界の一般化が得られた。これは、対数尤度の最大化を図っていた従来の最尤推定法そのものを拡張したことになっている。
(b)混合エキスパート型神経回路網
新たに得られたWEMアルゴリズムは一般化対数に基づくものであるが、近似を必要としない閉じた繰り返しアルゴリズムとしての計算が可能であることも分かった。この一般化対数はパラメータαをもち、単調増加関数族を構成している。そして、その特別な場合が従来の対数となっている。このパラメータαは学習行列の正定値性を調整することができ、その正定値性の限界付近で、高速学習性が実現されることが判明した
WEM構造においては、順方向の入出力流にその逆方向の入出力流を組み合わせて一対の学習構造とすることができることが判明した。これは一つの学習的機能ブロックとして働くことができる。そしてこれらの機能ブロックを継続接続すると階層構造が実現でき、求心性と遠心性の両方の情報経路を生成できることが分かった。
以上のように、今年度は新たな確率モデルの提案を行い、当初予想以上の高速学習性を得て今後の機能モデルの議論への道筋をつけることができた。
|
Research Products
(6 results)
-
[Publications] Yasuo MATSUYAMA: "The α-EM algorithm" Lecture Notes in Computer Science. 1240. 483-492 (1997)
-
[Publications] Yasuo MATSUYAMA: "The weighted EM algorithm and block monitoring" Proc. Int. Conf. Neural Networks. 3. 1936-1941 (1997)
-
[Publications] Yasuo MATSUYAMA et al.: "Prior probability weights and newral network learning" Proc. Int. Conf. Neutal Info. Processing. 1. 267-270 (1997)
-
[Publications] Yasuo MATSUYAMA: "WEM algorithms and probabilistic learning" Proc. ISCIE Stochastic System Sympo.1. 1-12 (1997)
-
[Publications] Yasuo MATSUYAMA: "Multiple descent cost competition" IEEE Trans. Neural Networks. 9. 1-17 (1998)
-
[Publications] 松山泰男: "自己組織化と外部知性との結合" 情報処理. 39. 37-42 (1998)
