|
各有限状態オートマトンをESN Echo State Networkで表現したものを用いた。ただし、ESNではその基本原理として、中間層結合素子を線型変換と見なしたときの固有値絶対値の最大値を1未満としている。本研究では、これを1より大きくとることにより、記号系(有限状態オートマトン)の学習を滑らかに行わせることを考え、実験を行った。ある条件のもと、学習が可能であることがわかった。ただし、まだ条件の記述ができていない。今後の課題である。
また、SRNの各素子を線形閾値素子としたものを用いたものの実験を行った。線形閾値素子を用いるMLP (multilayer pereeptron)は、確率的アルゴリズムを用いると学習可能である。このアルゴリズムを用いると、閾値素子版SRNの学習も可能となるが、最後に残る誤差を十分に小さくしないで停止してしまうため、得られる有限状態オートマトンの状態数(と等価な値)が大きなものになってしまった。平均化パーセプトロンアルゴリズムを援用したところ、収束状態はよくなったが、収束時間(連続値問題に適用した場合、Levenberg-Marquardtと同等)とのトレードオフの解消が課題として残った。
なお、上記で使用した素子が連続値で表現されていることにより、表現可能状態数が無限になってしまう可能性がないことは、理論的に証明できた。また、実際上の上限を低く抑え過学習の可能性を抑えることは、最初に記したように固有値の絶対値最大値を1以上とすることで可能なことが実験上示された。
|
