2018 Fiscal Year Annual Research Report
Generalized competitive learning for improving and interpreting neural networks
| Project/Area Number |
16K00339
|
|---|
| Research Institution | Tokai University |
|---|
Principal Investigator |
上村 龍太郎 東海大学, 情報教育センター, 非常勤講師 (80176643)
|
|---|
| Project Period (FY) |
2016-04-01 – 2019-03-31
|
| Keywords | ニューラルネットワーク / 汎化能力 / 解釈能力 / 相互情報量 / 競合学習 / 情報圧縮 / 内部表現 / 情報劣化 |
|---|
| Outline of Annual Research Achievements |
ニューラルネットワークの競合学習をより一般的な方法に移行させる研究をおこなってきた。一般化された競合学習は、未知の入力にうまく対応できるだけではなく、これまで不可能とされていた推論過程の解釈に応用できることがわかった。新しい学習法は、相互情報量最大化と最大化された情報量の圧縮から構成されている。
まず、相互情報量の最大化は、学習の基本メカニズムであるWinner-take-allメカニズムによって実現できることを確認した。また、競合するニューロンの数を増加させることによっても情報量を大きくできることもわかった。さらに、情報量最大化を円滑におこなうために、構造の単純化と誤差の最小化を情報量最大化から完全に分離する学習法を提案した。情報量最大化と構造の単純化と誤差最小化は矛盾する場合があり、情報量最大化を十分に大きくすることができない場合があった。この欠陥を克服できる可能性を確認できた。
次に、この情報量を圧縮する方法を提案した。圧縮は、ニューラルネットワークを構成するすべてのウェイトを平均することによって求められることがわかった。また、情報量の圧縮は、情報量最大化の後でおこなわれるので、情報の劣化を最小限にすることができることも確認できた。
この方法を、実際のビジネスデータへ応用した。ビジネスデータ解析では、結果の解釈が最も重要視され、解釈できないニューラルネットワークの応用の最大の問題点であった。応用の結果より、従来の方法よりも、新しいパターンにうまく対応できることがわかった。さらに、従来の方法、たとえば、ロジスティック回帰分析と比較すると、より単純な解釈を可能にすることがわかった。研究成果は、ニューラルネットワークの応用範囲をさらに広げるものであると考える。
|
