1998 Fiscal Year Annual Research Report
| Project/Area Number |
09680362
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
渡邊 澄夫 東京工業大学, 精密工学研究所, 助教授 (80273118)
|
|---|
| Keywords | 多重度解析 / ウェーブレット / ニューラルネットワーク / 代数解析 / 自由エネルギー / 確率的複雑さ / 可解モデル |
|---|
| Research Abstract |
音声・画像に代表される様々な情報メディアの解析・処理・認識において、高次元関数を近似推定するモデルの持つ性質を明らかにし、最適設計法と近似推定精度が具体的に計算できるモデルを実現することが本研究の目的である。昨年度の研究において、離散基底系を最適に設計した場合、どの程度まで効率的な情報圧縮が可能になるかを明らかにした。平成10年度は、主に雑音を含む情報の推定に適応基底系を用いた場合に、推定精度がどのようになるかについて、代数解析学の方法を適用することにより、従来の統計的手法では不明であった推定誤差を厳密に算出する方法の確立を行った。また、この方法を情報処理で最も多用される階層型の神経回路網に応用し、その推定精度が通常の統計的方法において利用される正則モデルよりも遥かに小さな誤差となることを明らかにした。実績は次の二つである。
(1) 階層型の非線形推論モデルは、真の推論を近似可能な場合には解の集合が一般に次元を持つ特異点を持つ解析的集合となり正則なモデルにならないため、その性質を解明することができなかった。平成10年度の研究では、このようなモデルを含む一般の非線形非正則な推論モデルをギブス分布を用いて学習させた場合の推定誤差を、平均対数尤度関数の佐藤b関数を算出することにより計算可能であることを示し、佐藤b関数の零点とその多重度より定まる有理数と自然数とによって推定誤差が直接得られることを明らかにした。これによって、従来は近似計算しかできなかった乱雑な系の自由エネルギー、言い換えれば非正則モデルの確率的複雑さを厳密に計算するアルゴリズムが確立された。
(2) この方法の有効性を示すため、従来は推定誤差を計算することが不可能であった階層的な学習モデルに適用し、その推定誤差が統計学でしばしば利用される正則モデルよりも遥かに小さいことを明らかにした。以上の(1)と(2)の研究によって、従来は厳密な扱いをすることが困難であるために、設計法が確立されていなかった適応基底系について、その数理的な基礎が完全な形で定式化された。本研究の最終年度である平成11年度には、以上のように構成された方法を広く世界に公表し、その有用性を様々な計算機科学の分野で検討したい。
|
Research Products
(7 results)
-
[Publications] 渡邊澄夫: "ベイズ法による階層型統計モデルの推定誤差について" 電子情報通信学会誌. J81-A,10号. 1442-1552 (1998)
-
[Publications] 渡邊澄夫: "代数解析に基づく特異点を持つモデルの学習理論" 電子情報通信学会技術報告. NC98-64. 73-80 (1998)
-
[Publications] 渡邊澄夫: "非正規な統計的推定における佐藤のb関数の役割" 情報理論とその応用. 21巻1号. 367-370 (1998)
-
[Publications] 渡邊澄夫: "神経回路網のバイアスとバリアンス" 統計数理研究所研究リポート「逆問題とその周辺」. 5巻(掲載予定). (1999)
-
[Publications] 渡邊澄夫: "Approximation Bounds for Layered Learning Machines and Environmental Probability Measures" Proceedings of the Third International Conference on Computational Intelligence and Neuroscience. 2巻. 135-138 (1998)
-
[Publications] 渡邊澄夫: "Inequalities of Generalization Errors for Layered Neural Networks in Bayesian Learning" Proceedings of Fifth International Conference on Neural Information Processing. 1巻. 59-62 (1998)
-
[Publications] 渡邊澄夫 福水健次: "Algorithms and Architectures" Academic Press, 450 (1998)
