1999 Fiscal Year Annual Research Report

離散的多重度解析法における可解モデルの実現

Research Project

Project/Area Number	09680362
Research Institution	Tokyo Institute of Technology
Principal Investigator	渡邊澄夫東京工業大学, 精密工学研究所, 助教授 (80273118)
Keywords	多重度解析 / ウェーブレット / ニューラルネットワーク / 代数解析 / 自由エネルギー / 確率的複雑さ / 可解モデル / 特異点解消
Research Abstract	音声・画像に代表される様々な情報メディアの解析・処理・認識において、高次元関数を近似推定するモデルの持つ性質を明らかにし、最適設計法と近似推定精度が具体的に計算できるモデルを実現することが本研究の目的である。昨年度までの研究において、離散基底系を最適に設計した場合に、どの程度まで効率的な情報圧縮が可能であるかを明らかにした。また代数解析学で研究されている佐藤-ベルンシュタインのb多項式を用いて離散的多重度解析法の統計的推測における推定誤差の厳密解析の基盤を構成した。最終年度である本年度に行った研究は次の通りである。 (1)離散的多重度解析を含む任意の非線型で階層構造を持つ情報処理装置を用いる統計的推測における推定誤差を代数幾何学で良く知られた代数多様体の特異点解消法を用いて計算するアルゴリズムを確立した。これは、従来の統計学や神経回路網の研究では不明であった問題を現代数学の成果に基づいて解明したものであり、応用数理・情報数理における新たな方法の発見である。(2)階層構造を持つ離散的多重度解析装置の統計的推測誤差を上記の方法に基づいてブローアップにより具体的に計算する手段を実現し、計算を行った。例えば、入力1出力1中間ユニット2の神経回路網が入出力が独立なガウスモデルに従うサンプルが与えられたときの推測精度は2/3であることなどが計算の結果明らかになった。本研究課題によって得られた科学技術への貢献は次の通りである。 (1)統計的推測・学習の問題をパラメータ空間の幾何学の視点から解き明かそうとするいわゆる情報幾何学の方法論を発展させて、離散的多重度解析においては常に生ずる計量縮退の問題を考察し、その背後に代数幾何・代数解析構造が隠されていることを発見し情報数理の分野における普遍的な知見として確立した。 (2)複雑・非線型・階層型の構造を持つ情報処理装置の統計的推定精度が代数化された方法によって具体的に計算できることを明らかにし、それらの精度が従来の統計学で研究されていたモデルよりも優れていることを示した。今後は、大規模なモデルについて具体的な計算を行う環境の実現や脳科学への数理的なアプローチにこの成果を役立てることが課題となる。

Research Products
(8 results)

All Other

All Publications (8 results)

[Publications] 渡邊澄夫: "特異点解消と佐藤 b関数による神経回路網の学習効率計算法"日本神経回路学会第9回全国大会講演論文集. 9巻. 163-164 (1999)
[Publications] 渡邊澄夫: "逆問題と佐藤b関数"統計数理研究所研究会「逆問題とその周辺」. 第6巻(掲載予定). (2000)
[Publications] Sumio Watanabe: "Algebraic analysis for neural network learning"Proceedings of International Symposium on IEEE Systems,Man,and Cybernietics. CD ROM. (1999)
[Publications] Sumio Watanabe: "Matahematical foundation for redundant statistical estimation"Proceedings of Internatinal Conterence on Stochastic Systems. (掲載予定). (2000)
[Publications] Sumio Watanabe: "Algebraic analysis for singular statistica estimation"Proceedings of International Symposium on Algorithmic Learning Theory. 10巻. 39-50 (1999)
[Publications] Sumio Watanabe: "Algebraic analysis for non-regular learning machines"Advances in Neural Information Processing Systems. 12巻. 356-362 (2000)
[Publications] 渡邊澄夫: "有界な解析的集合を真の解に持つモデルの最尤推定の評価"電子情報通信学会技術報告(ニューロコンピューティング). (掲載予定). (2000)
[Publications] 渡邊澄夫: "統計的推測における特異点の問題"応用数理. (掲載予定). (2000)

1999 Fiscal Year Annual Research Report

離散的多重度解析法における可解モデルの実現

Principal Investigator

渡邊 澄夫 東京工業大学, 精密工学研究所, 助教授 (80273118)

Research Products

[Publications] 渡邊澄夫: "特異点解消と佐藤 b関数による神経回路網の学習効率計算法"日本神経回路学会第9回全国大会講演論文集. 9巻. 163-164 (1999)

[Publications] 渡邊澄夫: "逆問題と佐藤b関数"統計数理研究所研究会「逆問題とその周辺」. 第6巻(掲載予定). (2000)

[Publications] Sumio Watanabe: "Algebraic analysis for neural network learning"Proceedings of International Symposium on IEEE Systems,Man,and Cybernietics. CD ROM. (1999)

[Publications] Sumio Watanabe: "Matahematical foundation for redundant statistical estimation"Proceedings of Internatinal Conterence on Stochastic Systems. (掲載予定). (2000)

[Publications] Sumio Watanabe: "Algebraic analysis for singular statistica estimation"Proceedings of International Symposium on Algorithmic Learning Theory. 10巻. 39-50 (1999)

[Publications] Sumio Watanabe: "Algebraic analysis for non-regular learning machines"Advances in Neural Information Processing Systems. 12巻. 356-362 (2000)

[Publications] 渡邊澄夫: "有界な解析的集合を真の解に持つモデルの最尤推定の評価"電子情報通信学会技術報告(ニューロコンピューティング). (掲載予定). (2000)

[Publications] 渡邊澄夫: "統計的推測における特異点の問題"応用数理. (掲載予定). (2000)

渡邊澄夫東京工業大学, 精密工学研究所, 助教授 (80273118)