2003 Fiscal Year Annual Research Report

画像修復の知見を用いたガウス過程関数近似の統計的理論とその応用

Research Project

Project/Area Number	14580438
Research Institution	RIKEN (The Institute of Physical and Chemical Research)
Principal Investigator	岡田真人独立行政法人理化学研究所, 脳数理研究チーム, 副チームリーダー (90233345)
Keywords	関数近似 / 画像修復 / ガウスモデル / フーリエ変換 / 特異点 / 統計力学 / 学習機械 / オンラインラーニング
Research Abstract	昨年度の研究から,異なったパラメータ値でも学習機械が同じ挙動する特異点が存在する場合,周辺尤度最大化などのパラメータ推定のアルゴリズムがうまく働かなくなることがわかった.これは研究計画当初には予想できなかったことであり,プロジェクト遂行上の必要性から,今年度は特異性を持つモデルのパラメータ推定の性質を調べることを第一の目標とした。これまで研究では,特異性を持つモデルの汎か誤差など,学習が終了した後の性質を議論する場合がほとんどであり,このプロジェクトに必要な学習のダイナミクスに関して,まったく研究が行われていなかった.そこで私は,学習のダイナミクスの解析が比較的容易なオンライン学習の枠組みで特異性を持つモデルのパラメータ確定を議論することにした。問題として,もっとも単純でよく知られている多層パーセプトロンを最急降下法で学習する場合を取り上げた.この場合,二種類の特異点が存在する.一つは同じ中間層の結合加重を持ち,中間層から出力層への結合荷重が一定となるようなもの(タイプI)であり,もう一つは出力層への結合荷重の一つが0になるものである(タイプII).入力次元無限大の熱力学的極限では,タイプIIのみが重要になる.解析の結果,(1)特異性がある場合,特異点近傍に系の状態は停留し,学習は著しく遅くなる.(2)ほとんどの初期値で熱力学的に重要になるタイプIIへ系は収束する.(3)初期値の対称性が高いときにのみ,タイプIでとどまるように見えるが,収束速度はさらに遅い.ことがわかった.つまり,特異点を持つモデルでは,最急降下法を用いることは望ましくないことがわかった.そこで,系のFisher情報行列を用いた自然勾配法の性質を議論し,この方法では前述の困難が全て解決することがわかった.

Research Products
(5 results)

All Other

All Publications (5 results)

[Publications] Hyeyoung Park: "On-line learning dynamics of two-layer neural networks with unidentifiable parameters."Journal of Physics A: Mathematical and General. vol.36. 1175-1176 (2003)
[Publications] Tomoko Ozeki: "Dynamical properties of Markov Chain Monte Carlo method for image restoration"Journal of Physics A: Mathematical and General. vol.36. 11011-11102 (2003)
[Publications] Tatsuto Murayama: "One-step RSB scheme for the rate distortion functions."Journal of Physics A: Mathematical and General. vol.36. 11123-11130 (2003)
[Publications] Masato Inoue: "On-line learning theory of soft committee machines with correlated hidden units.--Steepest gradient descent and natural gradient descent--"Journal of Physical Society of Japan. vol.72, No.4. 805-810 (2003)
[Publications] Kazuyuki Hara: "On-line learning through simple perceptron learning with a margin"Neural Networks,. vol.17, No.2. 215-223 (2004)

2003 Fiscal Year Annual Research Report

画像修復の知見を用いたガウス過程関数近似の統計的理論とその応用

Principal Investigator

岡田 真人 独立行政法人理化学研究所, 脳数理研究チーム, 副チームリーダー (90233345)

Research Products

[Publications] Hyeyoung Park: "On-line learning dynamics of two-layer neural networks with unidentifiable parameters."Journal of Physics A: Mathematical and General. vol.36. 1175-1176 (2003)

[Publications] Tomoko Ozeki: "Dynamical properties of Markov Chain Monte Carlo method for image restoration"Journal of Physics A: Mathematical and General. vol.36. 11011-11102 (2003)

[Publications] Tatsuto Murayama: "One-step RSB scheme for the rate distortion functions."Journal of Physics A: Mathematical and General. vol.36. 11123-11130 (2003)

[Publications] Masato Inoue: "On-line learning theory of soft committee machines with correlated hidden units.--Steepest gradient descent and natural gradient descent--"Journal of Physical Society of Japan. vol.72, No.4. 805-810 (2003)

[Publications] Kazuyuki Hara: "On-line learning through simple perceptron learning with a margin"Neural Networks,. vol.17, No.2. 215-223 (2004)

岡田真人独立行政法人理化学研究所, 脳数理研究チーム, 副チームリーダー (90233345)