2016 Fiscal Year Research-status Report
視覚情報処理を行なう階層型神経回路の新しい学習手法の研究
| Project/Area Number |
25330300
|
|---|
| Research Institution | Fuzzy Logic Systems Institute |
|---|
Principal Investigator |
福島 邦彦 一般財団法人ファジィシステム研究所, 研究部, 特別研究員 (90218909)
|
|---|
| Project Period (FY) |
2013-04-01 – 2018-03-31
|
| Keywords | 視覚パターン認識 / 多層神経回路 / deep CNN / ネオコグニトロン / 学習手法 / 内挿ベクトル法 / Add-if-Silent / margined WTA |
|---|
| Outline of Annual Research Achievements |
視覚パターン認識能力を持つ「ネオコグニトロン」の改良，その中でも特に，新しい学習手法の実現に重点を置いて研究を進めた．ネオコグニトロンは，多層構造を持つ神経回路で，deep CNN (convolutional neural network) の一種である．
その中間層に対しては，教師なし学習によって自己組織的に特徴抽出細胞を形成させるために，Add-if-Silent則と負のフィードバック信号を組み合わせた学習則をほぼ完成させた．この学習則を用いると，中間層の特徴抽出細胞が特徴空間内に均一に分布するように，教師なしの学習によって回路を自己組織化させることができる．しかも，現在deep CNNで広く用いられている種々の学習手法とは異なり，繰り返し学習を必要とせず学習をone-shotで完了させることができるので，効率的に学習が進行する．
最上位層での認識手法としては，以前筆者が提唱した「内挿ベクトル法」を用いると，現在人工神経回路の分野で広く用いられている WTA (winner-take-all) や SVM (support vector machine) などよりも高い認識率が得られる．しかし内挿ベクトル法での認識に要する計算量は，参照ベクトル数が増えると急激に増加するので，最上位層の学習に際しては，学習ベクトルの集合全体をできるだけ少数の参照ベクトルで忠実に表現するように学習を進めることが重要である．そのためにmWTA（margined Winner-Take-All）と名付けた新しい学習法を提唱した．またmWTA則の適用に際しては，細胞の発生と結合のtuningを二段階に分離して行なうことにより，学習を効率的に進められることを明らかにした．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
視覚パターン認識能力を持つネオコグニトロンの性能の向上を目指して，認識ならびに学習の新しい手法の研究を進めている．ネオコグニトロン型の多層神経回路においては，その中間段と最上位段とでは，それぞれ異なる情報処理原理と，それに適した学習方式が要求される．そこで，この両者の研究を並行して行ない，いずれに関しても新しい方式の提唱や，従来の方式の改善を進めた．新しい考えに基づいて構成した回路の能力は，理論的な検討と平行して，手書き文字に対する認識率を計算機シミュレーションで調べることによって検証している．
ネオコグニトロンの中間層の学習手法については，原理的にはほぼ完成に近づいたので，手書き文字に対する計算機シミュレーションによって最適パラメータの探索を進めた．
最上位層でのパターン識別に用いている内挿ベクトル法に関しては，2個および3個のベクトルの使用だけでなく，4個のベクトルを使用する方式についてもアルゴリズムを確立し，シミュレーションを行なった．
最上位層の学習に関しては，mWTA則の採用によって従来よりも効率的な学習が行えるようになったが，まだ改善の余地があると考えられるので，mWTA則の改良を中心として，更に研究を推進していく．
|
| Strategy for Future Research Activity |
人工神経回路の分野では，最近 deep convolutional neural network (deep CNN) に注目が集まっている．ネオコグニトロンもそのような deep CNN の一つであるが，一般の deep CNN とは異なる箇所もいくつか存在する．そこで，両者の相違点を明確にするとともに，ネオコグニトロンのほうが優れていると考えられる箇所を更に発展させ，deep CNN の新しい流れを作ることを一つの目標とする．
本年度は，ネオコグニトロンの最上位層の新しい学習手法としてmWTA則を提唱した．その基本的な考え方は，以下のようなものである．まず学習ベクトルを認識させてみて，もし誤認識であればその学習ベクトルを新しい参照ベクトルとして取り入れるのであるが，このときの認識の正誤判定に際して，学習パターンと異なるラベルを持つ細胞の出力にハンディキャップを与えて，そのハンディキャップのもとでも正しい認識ができた場合にのみ正解と見なすことにするのである．この手法によって従来よりも学習効率をかなり改善できるようになった．しかし，ハンディキャップの与え方を変更することによって，学習効率が更に改善されることが予想される．そこで今後は，この学習手法の改良に重点を置いて研究を進めることにする．
|
| Causes of Carryover |
次年度使用額が発生したが，希望物品を購入するには不足する額である．
|
| Expenditure Plan for Carryover Budget |
次年度の予算の一部を追加して希望物品を購入する予定である．
|
