| 研究課題/領域番号 |
16K00347
|
|---|
| 研究機関 | 国立研究開発法人産業技術総合研究所 |
|---|
研究代表者 |
新田 徹 国立研究開発法人産業技術総合研究所, 人間情報研究部門, 上級主任研究員 (20357726)
|
|---|
| 研究期間 (年度) |
2016-04-01 – 2021-03-31
|
| キーワード | ニューラルネットワーク / 特異点 / 深層学習 / ディープラーニング / 危点 / 学習 |
|---|
| 研究実績の概要 |
深層ニューラルネットワークが数多くの「階層構造に基づいた特異点」を持っていることを数理的に明らかにした。「階層構造に基づいた特異点」は中間ニューロン数と層数に応じて増加する。そして、深層ニューラルネットワークがそのような「階層構造に基づいた特異点」を持たないための十分条件を明らかにした。まず、一般的な深層ニューラルネットワークに適用される十分条件を明らかにした。次に、中間ニューロン数が前後の層の中間ニューロン数よりも少ない層において「階層構造に基づいた特異点」を持たないための十分条件を求めた。この場合、重み行列の階数によって「階層構造に基づいた特異点」が存在するか否かが定まる。さらに、各層の中間ニューロン数が等しい深層ニューラルネットワークの場合の十分条件を求めた。この場合、すべての重み行列が正則であれば、「階層構造に基づいた特異点」を持たない。また、求めた十分条件を実現する具体的な手法を２つ考案した。一つは、「階層構造に基づいた特異点」の近傍に入ったら、強制的に抜け出す仕組みを取り入れた学習アルゴリズムである。もう一つは、ネットワークの構造上、「階層構造に基づいた特異点」を持たないニューラルネットワークを用いる手法である。任意の２つの重みベクトルが常に直交しているようなニューラルネットワークはその一例である。一般に、深層ニューラルネットワークの学習においては、特異点が学習性能に悪い影響を与えている。本研究で得られた成果は、「階層構造に基づいた特異点」を持たない深層ニューラルネットワークを提供するものであり、特に勾配ベースの学習アルゴリズムを用いる場合の学習性能に良い影響をもたらすものと考えらえる。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
研究動向に鑑みて平成３１年度に行う予定の研究テーマを先取りして実施し、研究発表も行った。本研究課題全体としては、おおむね順調に進展していると考えている。
|
| 今後の研究の推進方策 |
特異点に関する研究の進展が世界的に早いため、当該年度は最新の研究動向の調査にも時間を割いた。理論的な成果も出始めていて、競争が激しくなっているとの印象を受けている。深層ニューラルネットワークの特異点はそのほとんどが鞍点であり、性質の悪いローカルミニマムはあまり存在しないとの報告もある。その辺りを念頭に置きながら、個々の特異点の特定も大切ではあるが、特異点の定性的な情報にも注意を払う必要があると考えている。
|
| 次年度使用額が生じた理由 |
・パーソナルコンピュータの周辺機器の購入を予定していたが、扱うデータが想定していたよりも少なく、既存の周辺機器で対応できることが判明したため、購入を見合わせた。
・国内開催の国際会議において研究成果を発表したため、旅費が想定よりも少なく済んだ。
・英文原稿を英文校正に出す予定をしていたが、論文投稿締切日に間に合わなくなり、やむを得ず中止した。
|
| 次年度使用額の使用計画 |
パーソナルコンピュータ購入、論文掲載料、研究調査・成果発表のための旅費、学会参加費、英文校正、和文英訳などに支出する予定である。
|
