2023 Fiscal Year Research-status Report
Constructing a mathematical foundation for heuristics based on transfer learning
| Project/Area Number |
23K16960
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
高橋 昂 東京大学, 大学院理学系研究科(理学部), 助教 (90906661)
|
|---|
| Project Period (FY) |
2023-04-01 – 2027-03-31
|
| Keywords | 半教師あり学習 / 不均衡データ / 転移学習 / 統計力学 / 統計物理学 / レプリカ法 |
|---|
| Outline of Annual Research Achievements |
今年度は、(i) 線形モデルにおける疑似ラベルを用いた自己学習アルゴリズム、および(ii)クラス不均衡データに基づく線形モデルのアンサンブル学習について、データ数とモデルパラメータ数が比例的に発散する比例的漸近論を用いて解析した。以下でそれぞれの研究の内容について説明する。
(i): 昨年までに導出していた疑似ラベルを用いた自己学習法の漸近的挙動について詳細な解析を行った。その結果、自己学習は学習の繰り返し回数が少ない場合には、若干のノイズを含んだラベルに対してモデルをフィットさせるという直感的な描像のもとに動作し、信頼度の低いラベルをデータから省く疑似ラベル選択（Pseudo-label selection,PLS）というヒューリスティクスが非常に有用であることが明らかとなった。一方、総反復回数が大きい場合には一回一回の更新におけるパラメータの変動量を小さくし、微少な更新を積み重ねる戦略が有効であることが明らかとなった。これは、疑似ラベルの損失が、パラメータ更新時に蓄積されうるノイズを打ち消す正則化のような役割を果たすためである。
(ii): ２成分クラスターデータの分類において線形分類器を学習する設定におけるアンダーバギング法の平均場理論を構築し解析した。その結果、アンダーバギング法に基づいて得られる分類器は、アンダーサンプリング法を用いて得られる分類器と比較して、分類面とクラスター中心の相関の情報は等価であるものの、分散の項がバギングによって低減することによってアンダーサンプリング単体よりも高い汎化性能を発揮することが明らかとなった。これはL2正則化がバギングと等価な性能を与える通常のバギング法とは異なる挙動であり、モデルのパラメータに対する直接的な正則化とアンサンブル学習の本質的な違いを示しているとも考えられる。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
２０２３年度は［手法１： 疑似ラベルを用いた半教師あり学習］、および［手法２：不均衡データに対する２段階学習］について、ベースライン手法の解析を行い、次年度に発展的方法へと進む基礎を構築する計画であった。［手法２］についてはベースライン手法であるアンサンブル学習法による学習の解析が完了し、汎化性能が向上する機構もある程度明確となった。いっぽう、［手法１］については対抗馬となる手法の解析が遅れている状況にあるが、線形モデルの挙動からモデルパラメータ数がデータ数よりも少ない古典的な状況における振る舞いについては当初想定していた以上に動作機構が明快となっている。単にベースラインとの性能を比較するのみならず、自己学習の機構を明らかにする手がかりを得た状況にあると言える。以上を総合的に考慮して、「おおむね順調に進展している」と考えている。
|
| Strategy for Future Research Activity |
2023年度までの研究により、疑似ラベルを用いた自己学習の古典的設定における基本的構造、および不均衡データからの学習の基本手法の構造が明らかとなった。次年度は、疑似ラベルを用いた自己学習については、回帰やオーバパラメトライズドモデルの研究により、非古典的状況と古典的状況の対比を明確化する研究を行う。また、不均衡データからの学習については、２段階学習を行うことにより、素朴なアンダーサンプリング法と比較して、分散の低減とシグナル項の増大の両方が実現可能となるか否かと検討する。
|
| Causes of Carryover |
２月時点で少額の未使用額が発生したものの、その年度内で適切に使用するべき特別な目的が見当たらなかったため、無理に消費せずに翌年度への繰り越しを決定した。繰り越された予算については、次年度の計画の一環として、旅費等の項目に合算して使用する。少額であるため、特に計画に大きな変更は生じないものと考えている。
|
