2022 Fiscal Year Research-status Report
Evolution of data science theory through analysis of solvable models
| Project/Area Number |
22K12179
|
|---|
| Research Institution | Kyoto University |
|---|
Principal Investigator |
小渕 智之 京都大学, 情報学研究科, 准教授 (40588448)
|
|---|
| Project Period (FY) |
2022-04-01 – 2026-03-31
|
| Keywords | 情報統計力学 / データ科学 / 機械学習 / 可解モデル |
|---|
| Outline of Annual Research Achievements |
本研究は，ランダム特徴モデルという可解モデルの解析を行い，それを通じて機械学習・データ科学に現れる問題群の深い数理的理解と実用的数値解法を得ることを目標とする． 具体的課題として申請時に３つの課題を設定したが，特に初年度は「課題2：ランダム特徴量を用いた連合学習・ゼロショット学習の理論解析」に関連した解析を行った．
より具体的には，実際に本課題を遂行をする上で理論モデルの基礎となるだろう，混合ガウスモデルの理論解析を通常の分類問題の文脈で行った．まず，不均衡ラベルデータにおいて，リサンプリングやリウェイティングの効果を調べる研究を行い，特徴量学習の精度においてはリサンプリングやリウェイティングが役に立たない状況があることを見出した．これは実験的に発見された分離学習と呼ばれる概念を理論的に追証した結果となる．この結果を現在論文にまとめている．また，半教師有り学習における推定精度の解析も別途おこない，ラベルなしデータの推定精度向上における効果を定量的に検証した．正則化付き最尤法とベイズ最適な場合の解析を行い，その推定精度の比較も行った．これにより，推定量がゼロに潰れた状態からそうでなくなる状態への相転移が，ラベル無しデータのみかつラベル分布が均衡している状態では現れること，その相転移がラベル不均衡やラベル付きデータによって消えること，ベイズ最適推定量が基本的に常に精度としては優越するが，最尤推定量も精度でそれほど劣っているわけではないこと，などが明らかとなった．この結果も現在論文にまとめている．
これ以外に，ニューラル崩壊という現象の理論解析を新しく始めた．この現象は，深層学習において同じクラスの特徴量ベクトルが同一のベクトルに縮退するというもので，分類問題を高精度に解く上で重要な役割を果たしていると考えられている．この現象を示す理論モデルを解析する手法を開発している段階である．
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
申請書に記述した課題3の研究は，かなりの段階まで進んだものの，その後，壁にあたり論文執筆段階まで至っていない．課題2については様々な成果は得られつつあるものの，当初の予定である連合学習やゼロショット学習を解析するための理論モデル構築段階まではまだ至っていない．課題1はもともと後半で行う予定であるため手をつけていない．新しく始めたニューラル崩壊に関する研究についても，一定の結果はあるが論文執筆に至るほどの成果とはなっていない．もともと４カ年計画であるため深刻な遅れではないが，初年度完了段階で投稿論文が１つ程度あることを想定していたため，やや遅れていることを認めざるを得ない．
|
| Strategy for Future Research Activity |
課題3の理論解析における壁は何か強力なアイデアがないと超えられそうもないため一旦放置する．代わりに課題3の応用研究部分とニューラル崩壊の理論解析を今後進める．課題2については順調に進めていける状態にあるため，これを進展させる．これらの研究が一段落ついた段階で，課題1に移行していく予定である．
|
| Causes of Carryover |
次年度使用額が生じた理由は，コロナウイルス感染症流行のため，旅費使用が抑制されたためである．
R5年は，この状況を是正するため使用方法を大きく見直し，RA雇用などの人件費への支出を増やす予定である．
|
Research Products
(1 results)
