2021 Fiscal Year Annual Research Report
超高次元機械学習モデルの学習ダイナミクスの究明と効率的学習法の開発
| Project/Area Number |
19K20337
|
|---|
| Research Institution | Kyushu Institute of Technology |
|---|
Principal Investigator |
二反田 篤史 九州工業大学, 大学院情報工学研究院, 准教授 (60838811)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | 確率的最適化法 / ニューラルネットワーク / 深層学習 / 機械学習 / 平均場理論 |
|---|
| Outline of Annual Research Achievements |
ニューラルネットワークの学習は非線形最適化問題に帰着するにも関わらず最適解へ収束することが経験的に知られている．本研究ではその理由を解明すべく過剰パラメトリゼーションのもとでの最適化ダイナミクスの解析を進めた．特にニューラルネットワークの平均場理論に基づく結果を得た．この理論は自身が提案したものであり，本年度の研究でさらに深化させることに成功した．平均場ニューラルネットワークは表現学習という重要な特徴を備えたモデルであるが最適化は容易ではないと考えられていた．本年度の研究では負エントロピー項を正則化として加えると効率的に最適化が可能であることを有限次元の凸最適化理論を無限次元の設定に拡張することで証明した．これは有限サイズの平均場ニューラルネットワークが多項式時間で学習できることを示した初の研究成果である．さらに標準的な最適化法であるノイズ付き勾配降下法に対しても新しい理論解析方針を与えた．この理論はランジュバンモンテカルロ法に対する収束理論を非線形の問題に拡張したものであり，今後さらなる発展が期待される．以上の成果はいずれもトップ国際会議であるNeurIPSおよびAISTATSに採択された．またこれらの研究と並行してミニバッチ確率的勾配降下法の理論限界に関する研究や深層学習モデルがその高い適応性によってカーネル法を優越することを示す研究にも取り組みそれぞれKAIS，NeurIPSに採択された．
|
