ニューラルネットワークによるオンライン学習の最適化

1999 Fiscal Year Annual Research Report

• Project/Area Number: 10750056
• Research Institution: Tokyo Metropolitan College of Aeronautical Engineering
• Principal Investigator: 相田 敏明 東京都立航空工業高等専門学校, 講師 (60290722)
• Keywords: 学習 / ニューラル・ネットワーク / ベイズ統計 / 統計力学 / 場の理論 / 繰り込み群

Research Abstract

1. 一般的なD次元空間に於ける、任意の確率分布のオンライン学習(学習用の例題が順次与えられる学習)の最適化を、場の理論的な観点から解明した。確率分布の学習は、ニューラル・ネットワークによる教師あり学習,教師なし学習を含む、最も一般的で重要な問題である。私は、学習用の例題数Nを観測の運動量スケールと見なす事により、繰り込み群の手法を用いて、学習アルゴリズムを導出した。また、そのアルゴリズムの最適性の証明に成功した。最適な学習アルゴリズムを導く為には、例題数Nに応じて系の自由度をコントロールする事が重要であるが、確率分布のオンライン学習では、データを観測する空間解像度を例題数Nの(-D)分の1乗に比例させて変化させれば良いという重要な結果を導いた。
2. 対象である確率分布が、平行,回転移動や連続的な変形をした場合にも、互いに同一であると認識可能な学習アルゴリズムを導出した。これは第一の研究結果に、"一般共変性"という対称性を取り入れる事により実現され、アルゴリズムの最適性は同様に証明される。この成果は、テンポの変化した音声データや、連続変形した画像データの認識を可能にする、非常に一般的なものである。またこれは、座標系など確率分布の記述法に依存しない、"情報"の持つ本来の性質を尊重した学習アルゴリズムである。
3. 学習対象である確率分布が、ある時刻に突然変化しても対応可能な、最適なオンライン学習アルゴリズムを導出した。ここでは、確率分布相互の関数空間内での距離を、逐次観測する方法を用い、大きな揺らぎのある観測量から、確率関数の変化を抽出する事に成功した。また数値シミュレーションにより、1次元空間に於けるアルゴリズムの有効性を確認した。

Research Products

• [Publications] Toshiaki Aida: "Field Theoretical Analysis of On-line Learning of Probability Distributions"Physical Review Letters. 83. 3554-3557 (1999)
• [Publications] Toshiaki Aida: "Adaptive On-line Learning of probability Distributions from Field Theories"Proceedings 1999 IEEE International Conference on Information, Intelligence and Systems. 66-71 (1999)
• [Publications] Toshiaki Aida: "Field Theoretical Approach to On-line Learning of Probability Distributions"Proceedings of International Workshop on Soft Computing in Industry '99. 125-129 (1999)