2016 Fiscal Year Research-status Report
潜在競合学習法による多様多層ニューラルネットワークの構築
| Project/Area Number |
16K00339
|
|---|
| Research Institution | Tokai University |
|---|
Principal Investigator |
上村 龍太郎 東海大学, 情報教育センター, 特任教授 (80176643)
|
|---|
| Project Period (FY) |
2016-04-01 – 2019-03-31
|
| Keywords | ニューラルネットワーク / デープラーニング / 多層ニューラルネットワーク / 自己符号化器 / 汎化能力 / 解釈 / 中間層 / 情報量最大化 |
|---|
| Outline of Annual Research Achievements |
ニューラルネットワークの代表的な競合学習をより一般的な方法に移行する研究をおこなっている。これまでの入力パターンとウェイトの類似性（距離）に基づいた（閉じた）競合学習から多様な競合形態を活用する潜在競合学習へと転換する研究を推進している。新しい潜在競合学習の研究は，基礎的な三つの研究，すなわち，多様なニューロンの能力、多様な競合の場，多様な競合形態の研究と、これらの研究にもとづいた多様多層ニューラルネットワークを構築しようとする研究から構成される。
平成２８年度は多層化への拡張、多様な能力の研究、そして解釈の研究が大きく進展した。まず多層型ニューラルネットワークへの展開である。これまで単層で潜在学習を展開してきた。単層の方法は、そのまま多層でも用いることができることがわかった。多層化することによって大きく汎化能力が向上することもわかった。
次に多様な能力の研究である。これまでは潜在能力としてニューロンの分散を唯一の候補として研究をおこなってきた。しかし、分散だけではなく、多くの可能性が見えてきた。たとえば、ウェイトの絶対的な大きさも潜在性の指標として用いることができることがわかった。またウェイトあるいはニューロンの選択性も潜在能力として考えることができるようになった。さらに解釈の問題でも前進があった。解釈には二つの方法を考えている。第一に中間層をすべてひとくくりにして解釈する集合的解釈の方法である。つぎに、コネクションをなるべく正の値にする方法である。この二つの方法を用いると多層ニューラルネットワークにおいても単層と同じように解釈できるようになることがわかった。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
平成28年度は、これまでに単層ニューラルネットワークに限られていた潜在学習法を多層ニューラルネットワークに拡張することを目的として研究をおこなった。潜在学習は，これまでは単層ニューラルネットワークにのみ適用してきた。潜在学習は、自然な形で多層ニューラルネットワークに拡張できることを確かめた。しかし，多層ニューラルネットワークでは、情報消失の問題と解釈の問題が生じた。
まず、情報消失問題である．多層型ニューラルネットワークは通常事前学習として自己符号化器などの教師なし学習が用いられる。教師なし学習は元のデータをできるだけコンパクトに圧縮する働きをもっている。しかし、多層型に応用した場合は、教師なし学習が繰り返し適用されるために元の情報を消失してしまうという欠陥があった。この問題を解決するために半自己符号化器を提案した。半符号化器では、常に元の入力パターンを再出力し、もとのパターンの情報を保持する役割を持っている。
次に、結果の解釈の問題である。ニューラルネットワークでは解釈が困難であることが最大の問題となっている。この問題は多層型ニューラルネットワークでは、さらに深刻になっている。この問題に集合的解釈を提案した。これは、すべての隠れた層を一括して扱うことで解釈の問題を克服する方法である。
さらに解釈を容易にするためにウェイトをなるべく正の値にする方法も考えた。ニューラルネットワークは正と負のウェイトを持ち、これらの組み合わせを用いることによって学習をおこなっている。しかし、正のウェイトと負のウェイトの組み合わせは、その解釈を困難なものにしている。たとえば、正のウェイトと負のウェイトがお互いに干渉しあうことがある。この時には、解釈はかなり困難なものになる。したがって、できるだけ正の値だけウェイトは解釈を容易にすることができることがわかった。
|
| Strategy for Future Research Activity |
潜在学習法は、多層ニューラルネットワークへ自然と拡張できることがわかってきた。しかし、これまでの深層学習のやり方にしたがって層別貪欲学習を用い事前学習をおこなうと層の分離という問題が発生した。これは、事前学習では層別に学習をおこなうために、層別に極端に最適化が行われる場合があることがわかった。このため、ある層と別の層の間の関係が不明確になる場合があることがわかった。現在この層の分離問題を解決すべくいろいろな方法を提案している。現在可能性のある方法は前方分散と前方選択性を用いて少なくとも二つの層の間の関係を密にすることによって解決する方法である。
まず、前方分散法は、あるニューロンの潜在性の高さを入力ウェイトではなく出力ウェイトの分散により定義する方法である。出力ウェイトの分散を見ることによって入力側の層と出力側の層の関係を見ることができるようになり、二つの層の間の関係をみることができるようになる。同様にして分散の代わりにニューロンの選択性を考慮することも可能である。ニューロンの選択性を強くするように層を結合することによって各層のつながりを確保することができるようになってきている。
この層の分離問題を解決することによってさらに多層ニューラルネットワークの能力を向上させることができると考える。
|
