2023 Fiscal Year Research-status Report
Information geometory of variational approximation for learning
| Project/Area Number |
23K11223
|
|---|
| Research Institution | Toyo University |
|---|
Principal Investigator |
佐野 崇 東洋大学, 情報連携学部, 准教授 (00710295)
|
|---|
| Project Period (FY) |
2023-04-01 – 2026-03-31
|
| Keywords | 情報幾何学 / 機械学習 / 確率的グラフィカルモデル / 変分近似法 / 深層学習 |
|---|
| Outline of Annual Research Achievements |
近似学習法の情報幾何学的研究を行った。今年度は、2値確率変数をもち、ペアワイズな相互作用を持つIsingモデルを用いて、平均場近似とBethe近似について研究を行った。
それぞれの近似学習法では、第一に、真の確率分布を変分確率分布で近似する。本年度は、それら近似の幾何学的意味について、調査と研究を行った。その結果、Bethe近似は、真の確率分布から変分確率分布への情報幾何学的な射影となっていることが分かった。すなわち、真の確率分布のパラメータが色々に動くとき、対応するBethe近似確率分布は、ある多様体をなす、ということが分かった。また、平均場近似は、Bethe近似とは異なり、経験分布から変分確率分布への単純な射影とは解釈できないことが分かった。
一般にデータからの学習とは、訓練データによる経験確率分布から、対象の確率分布族の一点を求める射影操作である。したがって、例えば Bethe 近似学習法では、経験分布から変分確率分布への射影と、真の確率分布から変分確率分布への射影を一致させる操作であると理解できる。本年度は、このような近似学習法の幾何学的描像を得ることに成功した。
更に、深層学習を含むニューラルネットワークの損失関数について、幾何学的な視点からの研究を行った。特に、損失関数のパラメータの関数としての形状は、汎化性能とも関係し、重要な対象である。この研究では、ニューラルネットワークや損失関数の持つ性質が、損失関数のパラメータ空間における形状に大きな制約を与えることが分かった。この研究は、深層ニューラルネットワークの汎化性能が向上する理由の説明や、新しいネットワークアーキテクチャの提案につながると考えられる。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
おおむね計画通り、平均場近似とBethe近似について、近似学習法の幾何学的意味付けを行う研究ができたため。
|
| Strategy for Future Research Activity |
ここまでの研究で、通常の平均場近似は、幾何学的に性質の良い射影とは解釈できないことが分かった。このことが、精度を含めて、近似方法の性質にどのように影響を与えるか考察したい。また、その他の変分近似方法に対する解析や、学習アルゴリズムの開発も行う。
さらに、深層ニューラルネットワークの損失関数の幾何学的解析も引き続き実施する。
|
| Causes of Carryover |
本年度は大規模計算機の必要な計算が発生しなかったため、新型モデルの発売開始も見据えて、一定額の使用を次年度に送ることにした。
|
Research Products
(3 results)
