2023 Fiscal Year Research-status Report
Statistical mechanical approach to matrix and tensor estimation
| Project/Area Number |
22KJ1074
|
|---|
| Allocation Type | Multi-year Fund |
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
岡島 光希 東京大学, 理学系研究科, 特別研究員(DC1)
|
|---|
| Project Period (FY) |
2023-03-08 – 2025-03-31
|
| Keywords | レプリカ法 / スパース推定 / 最適化アルゴリズム / ダイナミクス / 機械学習 |
|---|
| Outline of Annual Research Achievements |
前年度から続き，極スパース条件下におけるL1正則化付き線型回帰の平均場解析についての研究と，新しく行列推定を念頭においた反復アルゴリズムの統計力学的解析に取り組んだ．
極スパース条件におけるレプリカ解析結果の式を数値的に評価するためには，比較的大きいランダム行列を含んだ最適化問題についての平均を計算する必要があった．このため，大規模計算機による高次元モンテカルロ積分を実行せざるを得ず，理論としての扱いずらさが課題として残っていた．本年度は，このランダム行列の回転不変性を利用することで積分の次元を大幅に落とし，モンテカルロ積分による評価が容易な形式を与えることに成功した．これにより，本解析手法の利便性が向上したといえる．この研究の結果については国際学会及び国内学会で報告した．
また，本年度は交互最適化法の統計力学的解析にも取り組んだ．交互最適化法とは，2変数についての最適化問題が与えられた時に，交互に変数群について最適化を繰り返し行う手法である．行列分解やブラインドデコンボリューション（双線形回帰）など様々な場面で利用されている一方で，反復の収束性に関する知見は限られている．本年度は，双線形回帰の問題設定において，交互最適化法をマルコフ過程の一種の極限として定式化することで，レプリカ法による解析を行った．これにより，様々な初期条件やサンプル数におけるアルゴリズムの挙動を捉えることができた．また，特別な条件として完全にランダムに初期条件を決めた場合，有限反復数内で真の解に辿り着けないことも証明することができた．本研究成果は最適化問題を繰り返し解くという反復構造を持つアルゴリズム全般に適用可能な，汎用性の高い解析手法であることも確認している．この研究の結果については国内学会で報告しており，現在論文投稿準備中である．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
年度の目標の一つとして極スパース条件下におけるレプリカ解析に厳密な証明が挙げられていたが，残念ながら達成することはできなかった．しかし，Ansatzとしての本解析手法の利便性は計算量の大幅な削減によって大きく向上しており，L1正則化付き線型回帰のみならず他の推論方法についても容易に解析・評価するための基盤を構築できた．
また，極スパース条件下のレプリカ解析とは異なる方面として，交互最適化法のみならず，広い反復アルゴリズムに対する解析手法の枠組みを得ることができ，この点に関しては予想以上の進展があったといえる．特に，上記の構造を持った手法は非凸最適化問題に適用されることが多く，収束条件が非自明な問題設定においてアルゴリズムのダイナミクスという観点から解析を行うための手段が得られた．この解析手法の適用を中心として，採用最終年度にも研究が進展すると期待している．
|
| Strategy for Future Research Activity |
今年度得られた反復アルゴリズムの解析手法を交互最適化法のみならず，他の問題設定にも適用する．特に，近年注目されている転移学習や事前学習など，大規模なデータセットから得られた学習結果を他のタスクに援用する手法は本研究の枠組みで取り扱うことができる．前年度に取り扱ったスパース推定へ転移学習・事前学習を適用した場合の推定性能の変化についての定量的な議論や，効果的な事前学習結果の継承の方法などについて，理論解析を通じて追及していきたい．
|
| Causes of Carryover |
為替レートの影響により，当初の予定額から少額の差異が生じた．来年度の出張に使用したいと考えている。
|
