1992 Fiscal Year Annual Research Report
モジュール構造ニューラルネットワークの学習過程に関する研究
| Project/Area Number |
04650321
|
|---|
| Research Institution | Kyushu Institute of Technology |
|---|
Principal Investigator |
石川 眞澄 九州工業大学, 情報工学部, 教授 (60222973)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
章 宏 九州工業大学, 情報工学部, 助手 (30235709)
|
|---|
| Keywords | ニューラルネットワーク / モジュール構造 / タスク分割 / モジュール形成 / 構造学習 / エントロピー最小化 / 図形認識 |
|---|
| Research Abstract |
既に提案した忘却付き構造学習は,学習によりできるだけ単純なネットワークを生成できるという利点がある.この「節約の原理」により,モジュールの形成を説明できる.すなわちあるタスクの学習時に,潜在的に利用可能なニューロン群の中から,できるだけ少数のニューロンが選択され,これを当該タスクに対応するモジュールの形成と考えることが可能である.
形,大きさ,位置などが異なる図形の認識の課題において,モジュール数や各モジュールの大きさに関する情報を何も与えることなく,忘却付き構造学習により適切な数の適切な大きさのモジュールが自動的に生成されることを示した.しかも形,大きさ,位置のそれぞれに対応するモジュールが生成され,タスクが自動的に分割可能であることを示している.このタスク分割も上記学習法の「節約の原理」に基づくものであり,ジョルダンらの方法のような調整モジュールを要しない画期的なものである.タスク分割のもう一つの利点として,一般化能力の向上が考えられるが,これに関しては未検討である.
タスクの分割にはこれ以外にも,入力空間の分割,訓練パターンの分割などがある.また対象とするタスクとして比較的単純な例しか用いていないが,より現実的な課題についても取り組みたい.これらは今後の課題として残されている.
さらに既に提案したエントロピー最小化学習とモジュール構造ネットワークの関連として,全体ネットワークのエントロピーを,モジュール内ネットワーク,モジュール間ネットワークおよびマクロエントロピーの和として定式化できることを示した.
|
-
[Publications] 吉野 健一,石川 眞澄: "忘却付き構造学習を用いたモジュール構造ニューラルネットワークの自動タスク分割の試み" 電気関係学会九州支部連合大会講演論文集. 641 (1992)
-
[Publications] 石川 眞澄,内田 秀樹: "A structural learning of neural networks based on an entropy criterion" International Joint Conference on Neural Networks,Beijing. 2 375-380 (1992)
-
[Publications] 吉野 健一,石川 眞澄: "忘却付き構造学習を用いたモジュール構造ニューラルネットワークの自動タスク分割の試み" 神経回路学会第3回全国大会講演論文集. 84-85 (1992)
-
[Publications] 内田 秀樹,石川 眞澄: "モジュール構造ネットワークのエントロピー基準とエントロピー最小化学習" 神経回路学会第3回全国大会講演論文集. 86-87 (1992)
