| 研究領域 | 「学習物理学」の創成－機械学習と物理学の融合新領域による基礎物理学の変革 |
|---|
| 研究課題/領域番号 |
22H05117
|
|---|
| 研究種目 |
学術変革領域研究(A)
|
| 配分区分 | 補助金 |
|---|
| 審査区分 |
学術変革領域研究区分(Ⅱ)
|
|---|
| 研究機関 | 東京大学 |
|---|
研究代表者 |
樺島 祥介 東京大学, 大学院理学系研究科(理学部), 教授 (80260652)
|
|---|
| 研究分担者 |
小渕 智之 京都大学, 情報学研究科, 准教授 (40588448)
吉野 元 大阪大学, サイバーメディアセンター, 教授 (50335337)
坂田 綾香 統計数理研究所, 統計基盤数理研究系, 准教授 (80733071)
|
|---|
| 研究期間 (年度) |
2022-06-16 – 2027-03-31
|
| 研究課題ステータス |
交付 (2024年度)
|
| 配分額 *注記 |
134,160千円 (直接経費: 103,200千円、間接経費: 30,960千円)
2025年度: 27,170千円 (直接経費: 20,900千円、間接経費: 6,270千円)
2024年度: 26,390千円 (直接経費: 20,300千円、間接経費: 6,090千円)
2023年度: 26,520千円 (直接経費: 20,400千円、間接経費: 6,120千円)
2022年度: 26,910千円 (直接経費: 20,700千円、間接経費: 6,210千円)
|
|---|
| キーワード | レプリカ法 / キャビティ法 / 深層学習 / アルゴリズム開発 / 性能分析 |
|---|
| 研究開始時の研究の概要 |
機械学習では、データに学習パラメータをフィットさせることで、その背後に潜む規則を学習器に写し取ります。近年、データが大量かつ高次元化することに伴い、学習器に用いられる関数も多数のパラメータを含む複雑なものへと進化してきました。こうした進化はフィッティングに要する計算コストの増大や複雑性に伴う性能保証の難しさという課題を生み出しています。我々の研究ではこれらの課題を統計力学の概念や技術を用いることで解決します。
|
| 研究実績の概要 |
課題１：ここまでの研究で、L0正則化付きスパース線形回帰を解くためのマルコフ連鎖モンテカルロ法を用いたアルゴリズムの開発を8割程度完了した。現在，ハイパーパラメータを選択するための規準に関する研究を続けている。また、機械学習における典型的な非凸最適化問題として、混合ガウスモデルに基づく分類問題の理論解析を始めた。半教師有り学習におけるラベルなしデータの効果に関する知見やラベル分布が極端に偏っている場合に汎化性能をどのように高め得るかに関する知見を得ることが目的である．
課題２：H. Yoshino (2020)で示したDeep Neural Network(DNN)のレプリカ理論が「密結合」1 << c << N(Nはネットワークの幅、cは個々のパーセプトロンへの入力数）で厳密になることを示した。また教師ー生徒シナリオについて理論・シミュレーションの両面から詳しく解析を行なった。over-pametrizationによってネットワーク中央に液体的な領域が出現するにも関わらず入出力層付近の固体的な領域によって深さL無限大でも汎化性能が維持されることを明らかにした。
課題３：グループテストと呼ばれる離散変数のスパース推定に関する研究を行った。これまでdefective itemの数がシステムサイズのsublinearな場合については情報理論的研究が行われているが、本研究ではlinearな場合の研究をおこなった。従来法をこのlinearな場合に適用することは難しいが、我々は統計物理学の方法を導入することで解析できることを示した。解析の結果、linearな場合には変数の完全復元が不可能であることを発見した。そのため、統計的決定理論の枠組みを導入し、変数の状態を最適に決める方法を提案し、その性能を評価した。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
課題１；当初から予定していた研究であるモンテカルロ法に基づくアルゴリズムの開発をある程度完了した。またそれとは別に新しい研究を始めたが，その研究進捗も順調である．以上から，想定進捗速度を十分満たす状況である。
課題２：DNNの統計力学で厳密に解ける模型が得られたことの意義は大きい。「密結合」の極限を念頭にした新たな数値シミュレーションも行い、有意な結果を得ることができた。
課題３：グループテストにおける課題や、類似する問題が含む性質が明らかになってきている。研究内容は2本の論文として採択された。学会においても招待講演を含む発表をおこなった。
|
| 今後の研究の推進方策 |
課題１：上述のマルコフ連鎖モンテカルロ法を用いたアルゴリズム開発研究を論文化する予定である。開発したアルゴリズムはGithubなどを通じて公開する予定である。混合ガウスモデルに関する理論解析も論文化の目処が立っており、今年度中に論文として投稿できる可能性が高い。それらが済み次第、申請書に記述したRSBAMPの研究へと移行したい。また、深層学習におけるNeural Collapseの発生条件を吟味する理論解析研究を新たに立ち上げることを策定しており、これについても今年度中に一定の成果を得ることを予期している。
課題２：引き継き、教師-生徒シナリオに関してmessage passingで学習を行うアルゴリズムの開発を行う。またベイズ最適性を崩した学習シナリオへのレプリカ理論の拡張およびシミュレーションによる解析を行う。また、これまでの教師-生徒シナリオの解析から示唆された学習の空間的不均一性を、MNIST,CIFAR10など現実のデータに基づく学習において調査する研究を行う。
課題３：能動学習などの推定方法と組み合わせた場合の解析を引き続きおこなっていくことを予定している。これにより、さらなる推定性能の改善が見込まれる。また大きな計算コストが予想されるため、近似アルゴリズムを用いて実装することも検討している。
|
