2010 Fiscal Year Annual Research Report
機械学習における学習の停滞現象と損失関数の極値の安定性
| Project/Area Number |
21500222
|
|---|
| Research Institution | Tokai University |
|---|
Principal Investigator |
尾関 智子 東海大学, 情報理工学部, 准教授 (10407992)
|
|---|
| Keywords | 機械学習 / 多層パーセプトロン / 隠れマルコフモデル / ダイナミクス |
|---|
| Research Abstract |
機械学習は,内部にパラメータをもつ学習モデルを仮定し,外部から与えられる多数の学習データに潜む法則や数学的な構造を推論するものである.学習モデルが内部パラメータを変えることにより,望ましい出力を獲得していく過程を「学習」と呼ぶ.しかし,ニューラルネットワークなどの階層的なモデルでは学習が途中で停滞してしまうという問題を抱えている.本研究は,学習過程がパラメータ空間上に描く軌跡がパラメータ空間の特異構造にどのような影響を受けるかを明らかにすることを目指している。本年度は下記の二つのテーマについて研究を行った.
1. 隠れマルコフモデルの特異構造
Left-to-rightモデルにおいて,遷移確率行列が特異な性質をもつときパラメータが同定不能となり,ダイナミクスに奇妙な振る舞いがみられた.パラメータの軌跡がつねにある曲線に引き込まれる様子がみられ,現在もこの曲線の解析を進行中である。
2. ダミーデータによる多層パーセプトロンによる認識の性能向上
多層パーセプトロンでは教師の出力と生徒の出力の二乗誤差を損失関数とし,その値を最小にすべくパラメータの修正がおこなわれる.しかし,損失関数は多くの極値をもち,そのそれぞれが極小であるのかそれとも鞍点であるのかは明らかにされていない.鞍点である場合には,学習に停滞現象がみられる.多層パーセプトロンによる個人認証で本人のまわりにダミーデータを配置することにより,性能を上げることができ,学会発表を行った.しかし,これがパラメータ空間に与える影響については明らかでない。今後はこの影響を解析的に調べていきたい.
|
