|
初年度である今年度は、モデル(計算機)が置かれている環境から経験(入力)される事象からその特徴を抽出し、記憶・未経験の特徴を補間するモデルの構築へ向けての研究を行った。
そこで、本研究では計算機が置かれている環境から与えられる課題として、単純な時系列信号を用いた時系列の予測問題を考えた。これは、この時系列をある一定間隔の時間でサンプリングし、時間情報を空間情報に変換することで、多次元の入力情報とする事が出来、この入力情報から特徴を抽出してより有効な情報表現を獲得することが予測精度を上げるのに重要な要素となるからである。
この入力情報を連続ニューロンモデルを用いた階層型神経回路網が各段階のニューロンによる情報表現において、連続性が保存される点に着目し、その内部に作られる情報表現が、ネットワークの構造(具体的には出力素子数依存性)によって性質が変わることを見つけた。この結果からは、出力素子数(外界の教師信号によって制約を受ける条件数)が多くなるほど、初期値に依存せずに一定の情報表現を獲得できること、そして、その内部表現空間において、特徴を表現する領域がより大きくなることが分かった。
また、同時系列信号を用いて学習済みのネットワークに未学習な時系列予測を行わせたところ、比較的矛盾無く予測を行えることから、未経験の特徴をも獲得しているものと推測される結果を得た。以上の結果より、階層型の神経回路網モデルにおいて、環境から与えられる情報をより有効に教師信号として用いることにより、特徴空間は既知の事象に対する特徴を出来る限り多く、正確に獲得するできるものと期待できる。これは、内部に情報表現として得られた特徴を操作して未経験な事象を自己生成するときには有効である性質であると考えている。
また、階層型の神経回路網を使うために、その学習の収束速度が非常に関係してくるわけである。この高速学習アルゴリズムである"Local Feature Learning"において、多次元の入出力の場合についての効果を数値実験によって得ることが出来た。また、出力素子に線形ニューロンを用いる事に局所的な特徴情報として傾き情報よりも高次の微分情報を導入することによる学習収束性能の向上を確認できた。
|
