古典および量子統計的システムにおける新規な情報幾何構造の探究

2019 Fiscal Year Annual Research Report

• Project/Area Number: 17H02861
• Research Institution: Osaka University
• Principal Investigator: 藤原 彰夫 大阪大学, 理学研究科, 教授 (30251359)
• Co-Investigator(Kenkyū-buntansha): 佐藤 譲 北海道大学, 電子科学研究所, 准教授 (30342794) ; 杉田 洋 大阪大学, 理学研究科, 教授 (50192125) ; 長岡 浩司 電気通信大学, 大学院情報理工学研究科, 名誉教授 (80192235)
• Project Period (FY): 2017-04-01 – 2022-03-31
• Keywords: 情報幾何学 / 局所漸近正規性 / ランダム力学系 / 統計多様体

Outline of Annual Research Achievements

確率分布空間の微分幾何構造の研究に源を発する情報幾何学は，様々な分野で応用され成功を収めてきたが，その理論体系自体は未だ発展途上であり，重要な未解決問題が数多く残されている．本研究では，量子局所漸近正規性に係わる情報幾何構造の研究，およびランダム力学系に内在する情報幾何構造の研究を２本の柱として位置づけ，研究を推進する．またこれと並行して，従来の情報幾何学では扱われなかった新規な研究対象を発掘し応用する．そして，こうした研究を通じ，統計数学における幾何学的方法の体系化を目指す．
本年度は，オンライン機械学習において，学習データに内在する確率構造が，学習過程にどのような影響を与えるのかを研究した．従来の研究では，大きなサイズのバッチ学習を念頭に置き，学習過程を平均化された勾配力学系で置き換え，ノイズの影響は平均化された軌道のまわりでのランダムな揺らぎとして捉えられるという描像が主流であった．これに対し本研究では，Fukumizu-Amari により提案された極小３層パーセプトロンを学習モデルとして採用し，それが内包する Milnor アトラクタ近傍での学習挙動をランダム力学系の観点から研究した．その結果，１）多重に縮退した部分空間がアトラクタ近傍に存在すること，２）学習データに内在する確率構造に由来する強いプラトー現象が生じること，そして，３）部分空間から脱出するための最適なノイズの大きさが存在すること，などを見出した．これらの発見は，従来の平均化された決定論的勾配力学系では起こり得ないオンライン学習特有の現象であり，本研究で初めて明らかにされたノイズ誘起現象と考えられる．

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

オンライン機械学習において，「ノイズ誘起プラトー」とでも呼ぶべき新たなノイズ誘起現象が存在することを明らかにしたことは，機械学習におけるノイズの役割に対する従来の視点を覆すものであり，大きな進展である．

Strategy for Future Research Activity

今年度の研究で見出されたノイズ誘起プラトーをさらに詳細に研究し，機械学習における情報幾何構造の解明へとつなげていきたい．