2012 Fiscal Year Annual Research Report
機械学習における学習の停滞現象と損失関数の極値の安定性
| Project/Area Number |
21500222
|
|---|
| Research Institution | Tokai University |
|---|
Principal Investigator |
尾関 智子 東海大学, 情報理工学部, 教授 (10407992)
|
|---|
| Project Period (FY) |
2009-04-01 – 2014-03-31
|
| Keywords | 機械学習 / 特異点 / ニューラルネットワーク / 国際情報交換 |
|---|
| Research Abstract |
機械学習は，内部にパラメータをもつ学習モデルを仮定し，外部から与えられる多数の学習データに潜む法則や数学的な構造を推論するものである．学習モデルが内部パラメータを変えることにより，望ましい出力を獲得していく過程を学習と呼ぶ．多層パーセプトロンでは学習が途中で停滞してしまう現象が多く見られる．これは，パラメータ空間の特異構造によるもので，より複雑な多層パーセプトロンのパラメータ空間の中に，単純な多層パーセプトロンと等価な領域が複雑に存在するためである．これまで，確率差分方程式の解が描く軌跡を解析し，損失関数の微分が零となる臨界点がMilnorタイプのアトラクターとなっていることを共同研究により示してきた．同じく階層構造をもつ隠れマルコフモデルにおいて，遷移確率行列が特異な性質をもつときパラメータが同定不能になり，ダイナミクスに奇妙な振る舞いが見られた．学習ダイナミクスにおいてパラメータの軌跡がつねにある曲線に引き込まれる様子をシミュレーションで示し，そのアトラクターの性質に関して解析中であるが，まだ解析的に明らかにするには至っておらず今後の課題である．
本年度から，Restriced Boltzmann Machineのダイナミクスの解析を始めた．ボルツマンマシンも階層構造をもつことが知られており，またRestricted Boltzmann Machineは現在盛んに研究がすすめられているDeep Leariningに用いられている．
また，大学院生との共同研究で環境の変化に即座に対応できる強化学習アルゴリズムのダイナミクスに関する研究を進めた．
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
隠れマルコフモデルの学習ダイナミクスに関して，シミュレーション実験によりパラメータの軌跡を追うことはできているが，その軌跡の解析的な研究は，数学的な困難さもあり，大きな進展があったとは言い難い．解析のための研究時間が十分に取れず，今後はエフォートの割合を改善する必要がある．
|
| Strategy for Future Research Activity |
隠れマルコフモデルの学習ダイナミクスに関しては多くのシミュレーション実験を行ったが，確率差分方程式の解の挙動を解析的に明らかにするに至っていない．今年度は解析的な研究を行うための絶対的な時間が十分に取れなかった．来年度は教育・研究・運営のエフォートの割合の見直しを図り，研究時間の確保に努めたい．
本年度の秋に韓国で開催される国際会議で成果発表を行う際に，韓国の共同研究者とRestricted Boltzmann Machineの学習ダイナミクスについて議論し，特異モデルのダイナミクスの研究を推進していく．
大学院生との共同研究である強化学習のダイナミクスについてもさらに研究を進めていく．
|
