|
正則化項を用いるニューラルネット学習と汎化能力の関係を理論的・実験的に解明した。理論的解明に関しては、忘却付き構造学習で用いているラプラス正則化項やガウシアン正則化項、およびこれらの組み合わせについて検討を行った。
第一段階では、ラプラス正則化項を用いる忘却付き構造学習におけるさまざまな経験的工夫の意味づけを理論的に解明した。これには隠れ層明確化、選択的忘却などの意味付けを明らかにすることが含まれる。たとえば選択的忘却は、ほとんど滑らかであるが少数の場所では不連続であるという、視覚における線過程(ラインプロセス)との関連があることを明らかにした。
第二段階では、平均値の推定に正則化を用いる方法を理論的に検討した。これは多重回帰分析の最も単純なケースに相当している。この場合、実際のデータを用いて正則化が有効であることを確認した。
第三段階では、多重回帰分析を対象とする理論的定式化における過剰な単純化を是正した。これまでは理論的定式化を容易にするため、入力は互いに独立であり、さらにモデルの真のパラメータやノイズの分散等は既知であると仮定してきた。しかしこれらの仮定は実態には合わない。そこで入力間に相関がある場合の定式化を行ない、さらにデータからモデルパラメータやノイズの分散を推定し、これらの推定値に基づいて正則化パラメータを求め、これを用いてモデルパラメータやノイズの分散を再推定するという繰り返し法を提案した。繰り返し回数を定める方式も経験的に求めた。これにより本提案手法の実データへの適用が可能になった。実データに適用した結果、汎化性能の高い正則化項を実験的に求めることに成功した。
|
