| 研究課題/領域番号 |
18K11527
|
|---|
| 研究機関 | 山口大学 |
|---|
研究代表者 |
佐村 俊和 山口大学, 大学院創成科学研究科, 准教授 (30566617)
|
|---|
| 研究期間 (年度) |
2018-04-01 – 2021-03-31
|
| キーワード | リカレントニューラルネットワーク / 脳 / 解剖構造 / 興奮性 / 抑制性 / 初期構造 / 故障耐性 |
|---|
| 研究実績の概要 |
本研究計画では，脳の中の解剖構造と脳の情報処理能力との関係の解明を目的とする．これまでの研究において，神経細胞が相互に結びつく全結合のリカレントニューラルネットワーク(RNN)に，興奮性神経細胞と抑制性神経細胞を区別する制約を初期構造として与えることで，過学習が抑えられることが分かっている．本年度は，まず，そのような初期構造への制約（EI初期化）を加えたRNN（EI-RNN）を，データ数やニューロン数を変更した様々な条件下で，他の制約を初期構造に加えたRNNと比較した．他のRNNが正しく学習を行える条件においては，EI-RNNは同等のパフォーマンスで学習が行え，他のRNNで過学習が生じやすい条件では，過学習を抑制する結果が得られている．その際，学習時の勾配消失問題へ対応するLSTM同様にパフォーマンスが維持されることから，EI初期化でもたらされる構造によって，学習時の勾配消失・爆発が防がれていることが示唆される．次に，脳の情報処理機構の利点の１つとして挙げられる故障に対する頑健性に着目し，学習後のRNNの一部を様々な条件で破壊したあとでも性能が維持できるか評価した．RNN内を全結合とする初期構造制約と比較して，部分結合とする初期構造制約の方が故障に対する頑健性が高いことが示された．本実験でのRNNでは学習後も，初期構造の一部が維持されている．部分結合とする初期構造制約では，学習後も情報処理への影響が大きいと考えられる強い結合の数が少ない構造となる．このような構造では，少数の強い結合で情報処理が実現されていると考えられ，その結合が選択的に破壊されない限り，故障に対して頑健となることが示唆される．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
本年度では，過学習を抑える興奮性神経細胞と抑制性神経細胞を区別する制約を初期構造としたRNNの故障に対する頑健性を評価し，学習後にも維持される初期構造が学習時の勾配消失・爆発への対応や故障に対する頑健性に関係する可能性を示す結果を得られ，現在までのところほぼ計画通りに研究が進展しているといえる．
|
| 今後の研究の推進方策 |
次年度では，本年度の学習後にも維持される初期構造が学習時の勾配消失・爆発への対応や故障に対する頑健性に関係する可能性を示す結果に基づき，学習過程において維持される構造を選択的に変えることで，RNNの学習時の勾配消失・爆発への対応力や故障に対する頑健性の向上の両立が行えないか調査を行う．
|
