Irregular Models and Information Criterion

Research Project

Project/Area Number	18J12201
Research Category	Grant-in-Aid for JSPS Fellows
Allocation Type	Single-year Grants
Section	国内
Research Field	Intelligent informatics
Research Institution	The University of Tokyo
Research Fellow	鈴木惇東京大学, 情報理工学系研究科, 特別研究員(DC2)
Project Period (FY)	2018-04-25 – 2020-03-31
Project Status	Granted (Fiscal Year 2019)
Budget Amount *help	¥1,500,000 (Direct Cost: ¥1,500,000) Fiscal Year 2019: ¥700,000 (Direct Cost: ¥700,000) Fiscal Year 2018: ¥800,000 (Direct Cost: ¥800,000)
Keywords	Riemann 多様体 / 記述長最小原理 / 正規化最尤符号長 / 非正則モデル / 情報量規準
Outline of Annual Research Achievements	■ 非正則モデルにおける情報量規準: 情報量規準とは、モデルの大きさを定量化する規準で、過学習の平均・最悪ケースの見積や、適切なモデル選択などの応用がある。Fisher計量によるRiemann 多様体とみなせないような非正則モデルに対しては、一般に情報量規準の設計は困難である。当研究員は、まず正則モデルに対して記述長最小原理に基づく情報量規準の新しい計算法を Fourier 変換に基づき提案し、それに基づき非正則モデルに対しても記述長最小原理に基づく情報量規準の下界を導出した。 ■ 多様体を用いた非正則埋込モデル: 近年、特にネットワーク埋め込みの分野で、非正則モデルの中でも、距離構造が非 Euclid 的な Riemann 多様体への埋め込みモデルが注目を集めている。当研究員は、枝集合が一つであるような単関係グラフに対象が絞られてきた従来のRiemann 多様体への埋め込みモデルの枠組みを超えて、枝集合が一つとは限らず枝集合族を有するような複関係グラフに対して　一般的なRiemann 多様体への埋込モデルを提案し、一般のRiemann多様体へ拡張したことに伴う有意性を実データ上で検証した。 ■ 多様体上での最適化手法: 多様体を用いたモデルの上では、最適化手法の選択も自明ではない。Riemann多様体上での最適化においては、自然勾配法に基づく手法や指数写像に基づく手法が用いられてきたが、その理論的な比較は十分ではなかった。当研究員は、自然勾配法に基づく手法の理論的・定量的な問題点を明らかにし、指数写像に基づく手法の利点を明確にした。 ■ 非正則モデルの実データへの応用: 当研究員は、いくつかの非正則モデルクラスにおいて実データでの有用性をも示した。具体的には深層学習モデルのweb上文章への応用や、三組関係を補助情報として用いた部分空間クラスタリングの実画像への応用などである。
Current Status of Research Progress	Current Status of Research Progress 1: Research has progressed more than it was originally planned. Reason 受け入れ研究機関の強みである数理科学を用いた工学への応用が近年注目を集めるRiemann 多様体の工学への応用にマッチしたため。具体的には、受け入れ研究機関では情報多様体を始めとしたRiemann幾何学の土壌が長年存在し、若手研究員同士の交流も活発であった。これが当研究員の本研究に大きな後押しとなった。
Strategy for Future Research Activity	Lie群の表現論に基づき、工学における応用が容易となるRiemann多様体の部分クラスを発見し、そのもとで工学的応用のため各種計算方法を導出する。具体的には、学習アルゴリズムの計算、情報量規準の計算、汎化誤差上限の計算などが計算方法導出の範囲に含まれる。