2004 Fiscal Year Annual Research Report
ランダムウォークと幾何学に基く学習・最適化に関する研究
| Project/Area Number |
16650050
|
|---|
| Research Institution | National Institute of Advanced Industrial Science and Technology |
|---|
Principal Investigator |
西森 康則 独立行政法人産業技術総合研究所, 脳神経情報研究部門, 研究員 (00357724)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
赤穂 昭太郎 独立行政法人産業技術総合研究所, 脳神経情報研究部門, 主任研究員 (40356340)
北澤 茂 順天堂大学, 医学部, 教授 (00251231)
|
|---|
| Keywords | 独立成分分析 / 主成分分析 / シュティーフェル多様体 / 測地線 / 自然勾配法 / 多様体学習 / 情報幾何 / 最適化 |
|---|
| Research Abstract |
1.教師無し学習問題で観測される信号は、高次元のユークリッド空間中のより低次元の部分多様体上にあると近似できることが多い。それに伴い、その信号から背後の確率分布を学習するための学習器にも、特別な幾何学的構造が導入される。例えば独立成分分析などの問題においては、それを解くニューラルネットのパラーメータ空間はシュティーフェル多様体という等質空間の一種とみなせ、学習はその多様体上の最適化問題に帰着する。本研究ではリーマン幾何学を用いたシュティーフェル多様体上の反復的最適化法を提案した。最適化は多様体上の測地線に近接した曲線に沿って行われる。本手法はシュティーフェル多様体以外にも、教師無し学習の問題に現れる様々な等質多様体上の最適化に適用可能である。
2.サンプルが多様体上の点である場合には従来の主成分分析がそのままの形では適用できない。本論分では各サンプルが指数型分部族に属する確率分布である場合に、指数型分布族のなす情報幾何的構造を考慮した新しい主成分分析の手法を提案した。旧来の主成分分析ではサンプルの情報をもっともよく反映する部分空間を探索するのに対し、本手法はe平坦あるいはm平坦な部分多様体を求める。多様体とサンプル間の距離はそれぞれm射影、e射影によって測り、その距離が陽に求められない場合には反復的に計算するアルゴリズムを提案した。
3.ノイズを利用した学習・最適化手法に関しては、北澤によって提案された小脳のランダムウォーク型の最適化を一般化した最適化法について予備的考察を行った。眼球運動や上肢の到達運動の記述を含むある種の楕円型の変分問題は、ランダムウォークを用いて解くことができると予測している。これについては次年度以降研究発表していく予定である。
|
