Statistical mechanics approach to high-dimensional machine learning
| Project Area | Foundation of "Machine Learning Physics" --- Revolutionary Transformation of Fundamental Physics by A New Field Integrating Machine Learning and Physics |
|---|
| Project/Area Number |
22H05117
|
|---|
| Research Category |
Grant-in-Aid for Transformative Research Areas (A)
|
| Allocation Type | Single-year Grants |
|---|
| Review Section |
Transformative Research Areas, Section (II)
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
樺島 祥介 東京大学, 大学院理学系研究科(理学部), 教授 (80260652)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
小渕 智之 京都大学, 情報学研究科, 准教授 (40588448)
吉野 元 大阪大学, サイバーメディアセンター, 教授 (50335337)
坂田 綾香 統計数理研究所, 統計基盤数理研究系, 准教授 (80733071)
|
|---|
| Project Period (FY) |
2022-06-16 – 2027-03-31
|
| Project Status |
Granted (Fiscal Year 2024)
|
| Budget Amount *help |
¥134,160,000 (Direct Cost: ¥103,200,000、Indirect Cost: ¥30,960,000)
Fiscal Year 2024: ¥26,390,000 (Direct Cost: ¥20,300,000、Indirect Cost: ¥6,090,000)
Fiscal Year 2023: ¥26,520,000 (Direct Cost: ¥20,400,000、Indirect Cost: ¥6,120,000)
Fiscal Year 2022: ¥26,910,000 (Direct Cost: ¥20,700,000、Indirect Cost: ¥6,210,000)
|
|---|
| Keywords | レプリカ法 / キャビティ法 / 深層学習 / アルゴリズム開発 / 性能分析 |
|---|
| Outline of Research at the Start |
機械学習では、データに学習パラメータをフィットさせることで、その背後に潜む規則を学習器に写し取ります。近年、データが大量かつ高次元化することに伴い、学習器に用いられる関数も多数のパラメータを含む複雑なものへと進化してきました。こうした進化はフィッティングに要する計算コストの増大や複雑性に伴う性能保証の難しさという課題を生み出しています。我々の研究ではこれらの課題を統計力学の概念や技術を用いることで解決します。
|
| Outline of Annual Research Achievements |
課題１：ここまでの研究で、L0正則化付きスパース線形回帰を解くためのマルコフ連鎖モンテカルロ法を用いたアルゴリズムの開発を8割程度完了した。現在，ハイパーパラメータを選択するための規準に関する研究を続けている。また、機械学習における典型的な非凸最適化問題として、混合ガウスモデルに基づく分類問題の理論解析を始めた。半教師有り学習におけるラベルなしデータの効果に関する知見やラベル分布が極端に偏っている場合に汎化性能をどのように高め得るかに関する知見を得ることが目的である．
課題２：H. Yoshino (2020)で示したDeep Neural Network(DNN)のレプリカ理論が「密結合」1 << c << N(Nはネットワークの幅、cは個々のパーセプトロンへの入力数）で厳密になることを示した。また教師ー生徒シナリオについて理論・シミュレーションの両面から詳しく解析を行なった。over-pametrizationによってネットワーク中央に液体的な領域が出現するにも関わらず入出力層付近の固体的な領域によって深さL無限大でも汎化性能が維持されることを明らかにした。
課題３：グループテストと呼ばれる離散変数のスパース推定に関する研究を行った。これまでdefective itemの数がシステムサイズのsublinearな場合については情報理論的研究が行われているが、本研究ではlinearな場合の研究をおこなった。従来法をこのlinearな場合に適用することは難しいが、我々は統計物理学の方法を導入することで解析できることを示した。解析の結果、linearな場合には変数の完全復元が不可能であることを発見した。そのため、統計的決定理論の枠組みを導入し、変数の状態を最適に決める方法を提案し、その性能を評価した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
課題１；当初から予定していた研究であるモンテカルロ法に基づくアルゴリズムの開発をある程度完了した。またそれとは別に新しい研究を始めたが，その研究進捗も順調である．以上から，想定進捗速度を十分満たす状況である。
課題２：DNNの統計力学で厳密に解ける模型が得られたことの意義は大きい。「密結合」の極限を念頭にした新たな数値シミュレーションも行い、有意な結果を得ることができた。
課題３：グループテストにおける課題や、類似する問題が含む性質が明らかになってきている。研究内容は2本の論文として採択された。学会においても招待講演を含む発表をおこなった。
|
| Strategy for Future Research Activity |
課題１：上述のマルコフ連鎖モンテカルロ法を用いたアルゴリズム開発研究を論文化する予定である。開発したアルゴリズムはGithubなどを通じて公開する予定である。混合ガウスモデルに関する理論解析も論文化の目処が立っており、今年度中に論文として投稿できる可能性が高い。それらが済み次第、申請書に記述したRSBAMPの研究へと移行したい。また、深層学習におけるNeural Collapseの発生条件を吟味する理論解析研究を新たに立ち上げることを策定しており、これについても今年度中に一定の成果を得ることを予期している。
課題２：引き継き、教師-生徒シナリオに関してmessage passingで学習を行うアルゴリズムの開発を行う。またベイズ最適性を崩した学習シナリオへのレプリカ理論の拡張およびシミュレーションによる解析を行う。また、これまでの教師-生徒シナリオの解析から示唆された学習の空間的不均一性を、MNIST,CIFAR10など現実のデータに基づく学習において調査する研究を行う。
課題３：能動学習などの推定方法と組み合わせた場合の解析を引き続きおこなっていくことを予定している。これにより、さらなる推定性能の改善が見込まれる。また大きな計算コストが予想されるため、近似アルゴリズムを用いて実装することも検討している。
|
Report
(1 results)
Research Products
(24 results)
