Information geometory of variational approximation for learning
| Project/Area Number |
23K11223
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61030:Intelligent informatics-related
|
|---|
| Research Institution | Toyo University |
|---|
Principal Investigator |
佐野 崇 東洋大学, 情報連携学部, 准教授 (00710295)
|
|---|
| Project Period (FY) |
2023-04-01 – 2026-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥3,770,000 (Direct Cost: ¥2,900,000、Indirect Cost: ¥870,000)
Fiscal Year 2025: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2024: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2023: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
|
|---|
| Keywords | 情報幾何学 / 機械学習 / 確率的グラフィカルモデル / 変分近似法 / 深層学習 / 確率伝搬法 |
|---|
| Outline of Research at the Start |
確率的グラフィカルモデルは強力な生成モデルであるが、大規模データへの応用は計算コストのために難しい。そのため様々な変分近似学習法が開発されているが、それらの関係は十分に理解されておらず、どの手法を用いるべきかの理論的指針は乏しい。
そこで本研究では、変分近似学習法の情報幾何学を用いた解析と改良を行う。情報幾何学は学習に幾何学的描像を与えることができるため、さまざまな変分近似学習法の幾何学的な理解・比較が可能になる。それによって、問題に応じて、さまざまな変分近似法のうちどれを選択すべきか、どのようにハイパーパラメータを設定すべきかの指針を与える。さらに、より性能の良い変分近似学習法の開発も行う。
|
| Outline of Annual Research Achievements |
近似学習法の情報幾何学的研究を行った。今年度は、2値確率変数をもち、ペアワイズな相互作用を持つIsingモデルを用いて、平均場近似とBethe近似について研究を行った。
それぞれの近似学習法では、第一に、真の確率分布を変分確率分布で近似する。本年度は、それら近似の幾何学的意味について、調査と研究を行った。その結果、Bethe近似は、真の確率分布から変分確率分布への情報幾何学的な射影となっていることが分かった。すなわち、真の確率分布のパラメータが色々に動くとき、対応するBethe近似確率分布は、ある多様体をなす、ということが分かった。また、平均場近似は、Bethe近似とは異なり、経験分布から変分確率分布への単純な射影とは解釈できないことが分かった。
一般にデータからの学習とは、訓練データによる経験確率分布から、対象の確率分布族の一点を求める射影操作である。したがって、例えば Bethe 近似学習法では、経験分布から変分確率分布への射影と、真の確率分布から変分確率分布への射影を一致させる操作であると理解できる。本年度は、このような近似学習法の幾何学的描像を得ることに成功した。
更に、深層学習を含むニューラルネットワークの損失関数について、幾何学的な視点からの研究を行った。特に、損失関数のパラメータの関数としての形状は、汎化性能とも関係し、重要な対象である。この研究では、ニューラルネットワークや損失関数の持つ性質が、損失関数のパラメータ空間における形状に大きな制約を与えることが分かった。この研究は、深層ニューラルネットワークの汎化性能が向上する理由の説明や、新しいネットワークアーキテクチャの提案につながると考えられる。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
おおむね計画通り、平均場近似とBethe近似について、近似学習法の幾何学的意味付けを行う研究ができたため。
|
| Strategy for Future Research Activity |
ここまでの研究で、通常の平均場近似は、幾何学的に性質の良い射影とは解釈できないことが分かった。このことが、精度を含めて、近似方法の性質にどのように影響を与えるか考察したい。また、その他の変分近似方法に対する解析や、学習アルゴリズムの開発も行う。
さらに、深層ニューラルネットワークの損失関数の幾何学的解析も引き続き実施する。
|
Report
(1 results)
Research Products
(3 results)
