2022 Fiscal Year Annual Research Report
Development of adaptive leanring method based on optimization of probability measures
| Project/Area Number |
22H03650
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | Kyushu Institute of Technology |
|---|
Principal Investigator |
二反田 篤史 九州工業大学, 大学院情報工学研究院, 准教授 (60838811)
|
|---|
| Project Period (FY) |
2022-04-01 – 2026-03-31
|
| Keywords | 平均場ニューラルネットワーク / 平均場最適化 / ニューラルネットワーク / 確率的最適化 / 非凸最適化 |
|---|
| Outline of Annual Research Achievements |
最適化による大域収束性を備えるモデルとして平均場ニューラルネットワークがある．このモデルは深層学習の成功要因と考えられる表現学習の性質を備えることから重要な研究対象になっている．同時にこのモデルの最適化理論は一般に困難であり，特に最適化効率を明らかにする収束率解析のためには強い仮定や正則化が必要と考えられていた．このような背景の中，学習問題を確率測度の空間上で定式化し最適化問題にカルバック・ライブラ距離を正則化として加えることでより自然に凸最適化理論が展開可能となることを本研究で示した．具体的には平均場ランジュバンダイナミクスの理論を構築することで，ニューロンが無数にある場合の平均場ニューラルネットワークに対するノイズ付き勾配降下法の大域的収束性とその収束率を示した．また問題の凸性を活かすことで従来の有限次元空間上の凸最適化理論を平均場ニューラルネットワークの解析に援用可能であることを示した．これにより有限のニューロン数のもとでも効率的な最適化が可能であることを示した．
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
本研究では次の3項目に取り組んでいる．研究1: 「平均場ニューラルネットワークの最適化理論の深化」，研究2: 「平均場ニューラルネットワークとNTK理論の統合研究」，研究3: 「深層学習の成功要因を抽出した適応的アルゴリズムの開発と応用展開」．本年度は平均場ニューラルネットワークの最も標準的な最適化手法であるノイズ付き勾配降下法に対する収束解析を平均場ランジュバンダイナミクスの解析を通じ与え，さらに効率的最適化手法の提案を従来の凸解析理論を援用することで実現した．これらは平均場ニューラルネットワークの最適化が多項式時間で可能であることを初めて保証する成果であり，研究1に大いに貢献するものである．
|
| Strategy for Future Research Activity |
次年度は研究1, 2, 3のすべてに取り組む計画である．研究1に関しては，本年度までの研究で得られた理論を活用しEntropic Fictitious Play（ゲーム理論で開発されたFictitious Playにエントロピー正則化を加味したアルゴリズム）の収束解析とその応用開拓に取り組む．さらに研究3に関しては，確率的最適化に対し大きなステップサイズがもたらすバイアス（損失関数の平坦な領域への収束性）を調べることで効率的学習法の研究を試みる．研究2に関しては，判別問題に対する平均場ニューラルネットワークの汎化性能解析に取り組む．具体的には判別問題で用いられる損失関数の指数的性質が最適化効率を向上させることを示し，それを平均場ニューラルネットワークの汎化性に関連付ける．NTK理論との統合という当初の計画とは異なるが，研究2の目標はこのアプローチによっても達成される．
|
