|
本申請研究の目的は、実際的な規模のニューラルネットワークの学習において、実用に耐えうる学習速度を得ることのできる学習アルゴリズムを開発する事である。本研究における高速学習の基本原理は、私が開発したLocal Feature Learning Algorithmであるが、この方式には上記目的で述べたように、実用的な問題に適用出来るように拡張することが必要である。
そこで、初年度である今年度は、多次元から1次元への関数学習へのLocal Feature Learning Algorithmの適用ついては、人間がスクロールする画面上でマウスを動かし、その軌跡から、将来マウスが通るべき経路を予測する問題を設定し検討を行った。この問題では、入力としてサンプル間隔を設定することで、過去に遡った実マウス経路の複数点を用いる事で多次元入力を実現し、将来のマウスの位置を予測値として出力することで、多次元から1次元への関数学習問題としている。
Local Feature Learning Algorithmが目的関数の高次の微分情報を利用することで学習の高速化を行っているが、入力を多次元化したこの問題では、その微分情報を正確に計算するには、非常に多くの計算量を必要とするが、本研究では、データ点として与えられる任意の一方向に対してのみこの微分値に相当する変化量を利用することで実現を試みた。その結果、多次元化した場合にはこの方式でも十分な学習の高速化がなされることを確認できた。このことは、実計算時間の軽減に直接結びつく結果で有用である。しかしながら、定量的な評価までは至っておらず、また、多出力への拡張も必要であり次年度も引続き検討する予定である。
また、更なる高速学習を目指すために、Local Feature Learning Algorithmに使われるパラメータの動的な変更についての検討を行った。その結果により、学習過程においてこのパラメータを0に設定することで、通常の学習方法よりも高精度の関数近似を実現出来る事を確認する事が出来た。ただし、このパラメータの切り替えのタイミング等の検討は次年度の課題として残った。
|
