|
正則化項を用いるニューラルネット学習と汎化能力の関係を理論的・実験的に解明した。理論的解明に関しては、忘却付き構造学習で用いているプラズマ正則化項を中心にガウシアン正則化項なども含めて検討を行った。
第一段階では、ラプラス正則化項を用いる忘却付き構造学習におけるさまざまな経験的工夫の意味づけを理論的に解明した。これには隠れ層明確化、選択的忘却などの意味付けを明らかにすることが含まれる。たとえば選択的忘却は、ほとんど滑らかであるが少数の場所では不連続であるという、視覚における線過程(ラインプロセス)との関連があることを明らかにした。実データを用いた汎化能力の実験的検証や、より汎化性能の高い正則化項の実験的探索は今後に残されている。
第二段階では、平均値の推定に正則化を用いる方法の理論的に検討した。これは多重回帰分析の最も単純なケースに相当している。この場合、実際のデータを用いて正則化が有効であることを確認した。
第三段階では、理論的定式化における過剰な単純化を是正した。現在は理論的定式化を容易にするため、入力は互いに独立であると仮定している。しかし、この仮定は実態に合わないので、入力間に相関がある場合の定式化を行った。これにより実データを扱えるようになるので、実データに対してここでの理論をどう適用するかを明確にするため、実際の場でのモデルパラメータおよび正則化パラメータの推定方法を定式化した。ただし、実データに対する汎化能力の実験的検証、および入力間に相関があるデータを用いてより汎化性能の高い正則化項を実験的に探索することは今後の課題として残されている。
|
