• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

ニューラルネットワークによるオンライン学習の最適化

研究課題

研究課題/領域番号 10750056
研究種目

奨励研究(A)

配分区分補助金
研究分野 工学基礎
研究機関東京都立航空工業高等専門学校

研究代表者

相田 敏明  東京都立航空工業高等専門学校, 講師 (60290722)

研究期間 (年度) 1999 – 2000
研究課題ステータス 完了 (1999年度)
配分額 *注記
1,800千円 (直接経費: 1,800千円)
1999年度: 600千円 (直接経費: 600千円)
1998年度: 1,200千円 (直接経費: 1,200千円)
キーワード学習 / ニューラル・ネットワーク / ベイズ統計 / 統計力学 / 場の理論 / 繰り込み群
研究概要

1. 一般的なD次元空間に於ける、任意の確率分布のオンライン学習(学習用の例題が順次与えられる学習)の最適化を、場の理論的な観点から解明した。確率分布の学習は、ニューラル・ネットワークによる教師あり学習,教師なし学習を含む、最も一般的で重要な問題である。私は、学習用の例題数Nを観測の運動量スケールと見なす事により、繰り込み群の手法を用いて、学習アルゴリズムを導出した。また、そのアルゴリズムの最適性の証明に成功した。最適な学習アルゴリズムを導く為には、例題数Nに応じて系の自由度をコントロールする事が重要であるが、確率分布のオンライン学習では、データを観測する空間解像度を例題数Nの(-D)分の1乗に比例させて変化させれば良いという重要な結果を導いた。
2. 対象である確率分布が、平行,回転移動や連続的な変形をした場合にも、互いに同一であると認識可能な学習アルゴリズムを導出した。これは第一の研究結果に、"一般共変性"という対称性を取り入れる事により実現され、アルゴリズムの最適性は同様に証明される。この成果は、テンポの変化した音声データや、連続変形した画像データの認識を可能にする、非常に一般的なものである。またこれは、座標系など確率分布の記述法に依存しない、"情報"の持つ本来の性質を尊重した学習アルゴリズムである。
3. 学習対象である確率分布が、ある時刻に突然変化しても対応可能な、最適なオンライン学習アルゴリズムを導出した。ここでは、確率分布相互の関数空間内での距離を、逐次観測する方法を用い、大きな揺らぎのある観測量から、確率関数の変化を抽出する事に成功した。また数値シミュレーションにより、1次元空間に於けるアルゴリズムの有効性を確認した。

報告書

(2件)
  • 1999 実績報告書
  • 1998 実績報告書
  • 研究成果

    (3件)

すべて その他

すべて 文献書誌 (3件)

  • [文献書誌] Toshiaki Aida: "Field Theoretical Analysis of On-line Learning of Probability Distributions"Physical Review Letters. 83. 3554-3557 (1999)

    • 関連する報告書
      1999 実績報告書
  • [文献書誌] Toshiaki Aida: "Adaptive On-line Learning of probability Distributions from Field Theories"Proceedings 1999 IEEE International Conference on Information, Intelligence and Systems. 66-71 (1999)

    • 関連する報告書
      1999 実績報告書
  • [文献書誌] Toshiaki Aida: "Field Theoretical Approach to On-line Learning of Probability Distributions"Proceedings of International Workshop on Soft Computing in Industry '99. 125-129 (1999)

    • 関連する報告書
      1999 実績報告書

URL: 

公開日: 1998-04-01   更新日: 2016-04-21  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi