2017 Fiscal Year Research-status Report
潜在競合学習法による多様多層ニューラルネットワークの構築
| Project/Area Number |
16K00339
|
|---|
| Research Institution | Tokai University |
|---|
Principal Investigator |
上村 龍太郎 東海大学, 情報教育センター, 非常勤講師 (80176643)
|
|---|
| Project Period (FY) |
2016-04-01 – 2019-03-31
|
| Keywords | ニューラルネットワーク / ディープラーニング / 多層ニューラルネットワーク / 汎化能力 / 解釈 / 集合的解釈 / 相互情報量 / 情報圧縮 |
|---|
| Outline of Annual Research Achievements |
ニューラルネットワークの競合学習をより一般的な方法に移行する研究をおこなっている。新しい潜在競合学習の研究は，基礎的な三つの研究，すなわち，多様なニューロンの能力、多様な競合の場，多様な競合形態の研究と、これらの研究にもとづいた多様多層ニューラルネットワークを構築しようとする研究から構成される。
平成２９年度は多層化への拡張と解釈の研究が大きく進展した。まず多層型ニューラルネットワークへの展開である。多層化することによって大きく汎化能力が向上することが平成２８年度の研究でわかった。しかし、多くの場合、情報の消失がおこり、学習ができないこともわかった。これを解決するために、相互情報量最大化を提案した。ここでは、個別のニューロンはお互いに異なった役割を持つように調整され、入力情報は自然な形で出力層に送られることがわかった。しかし、相互情報量の計算は複雑で困難である場合が多い。そこで、相互情報量をより簡単な形で最大化する方法を提案した。この簡易法を用いることによって、より単純なウェイトの結合関係を実現できることがわかってきた。
解釈の問題ではさらなる前進があった。平成２８年度に導入した中間層をすべて集合的に解釈する方法は、層を多くしても、有効であることがわかった。平成２９年度は、この研究をさらに進めて、多層ニューラルネットワークの情報を圧縮する方法として集合的解釈を再定式化した。このことにより、どのような複雑な多層ニューラルネットワークも、中間層のない最も単純なニューラルネットワークに還元することができることがわかった。すなわち、多層ニューラルネットワークは、伝統的な回帰分析とおなじように変数の解釈に用いることができることがわかった。多層ニューラルニューラルネットワークは、より良い汎化能力を維持すると同時に、入力と出力の間の関係を明確に解釈することができることがわかった。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
平成２９年度も、単層ニューラルネットワークに限られていた潜在学習法を多層ニューラルネットワークに拡張することを目的として研究をおこなった。多層ニューラルネットワークでは、情報消失の問題と解釈の問題が生じた。この解決のために相互情報量最大化と情報圧縮法を提案した。
まず、情報消失問題である．情報消失問題の最大の原因は、各層のコネクションが複雑にからみあっていることである。すなわち、入力情報はどのような経路を通って出力に送られているのか理解することは、ほとんど不可能となる。したがって、このからみあいをほどくことが情報消失を解消することにつながっている。そこで、からみあいをほどくための相互情報量最大化を提案した。この方法では、コネクションは、なるべく特定のニューロンとのみ結合することになり、コネクションの役割が明確になることがわかった。このことは、入力情報がどのような経路を通って出力層に到達するか理解することができることにつながっている。
さらに、相互情報量最大化は、結果の解釈と関係していることがわかった。平成28年度の研究により、解釈には集合的解釈法を応用できることがわかってきた。この方法は、すべての層のすべてのコネクションを全体として扱うことにより、単純化し解釈しようとするものである。平成29年度は、さらにネットワークの自己圧縮を集合的解釈はおこなっていると考え、どのようにネットワークを圧縮すれば解釈が容易となるかを研究した。すなわち、複雑なネットワークをより単純化したネットワークに圧縮し理解することを研究した。このとき、解釈の問題点は、コネクションが複雑にからみあっていることが原因となることが多いことがわかった。この解決のために相互情報量最大化は有効であることがわかった。なぜならば、相互情報量最大化は、コネクションの役割を明確にし、結合関係を単純化する役割をもつからである。
|
| Strategy for Future Research Activity |
潜在学習法は、多層ニューラルネットワークへ自然と拡張できることがわかってきた。しかし、層の数が多くなるにつれて、やはり情報消失の問題も大きくなることもわかってきた。相互情報量最大化法は、ネットワーク全体の相互情報量ではなく、個別の層内で、独立に定義されて、最大化されている。これは、ネットワーク全体の情報量を最大化することは困難であるからである。しかし、層別の最大化をおこなってみてもネットワーク全体の情報量の最大化につながらない場合があることが分かってきた。今後は、個別の相互情報量最大化ができるだけ全体の相互情報量最大化と関係するような方法を研究することが必要になってくる。
さらに、上の問題が解決したとしても多層ニューラルネットワークにおいては、必然的に情報量の劣化が発生する。相互情報量最大化は劣化を弱めることはできるが、劣化を止めることはできない。そこで、劣化を防ぐためにできるだけ入力情報を大きくしようとする新しい試みを開始する予定である。できるだけ情報量を大きくしておけば、劣化しても必要な情報量は残る可能性は高いと考えることからである。
|
