Project/Area Number |
20K03753
|
Research Category |
Grant-in-Aid for Scientific Research (C)
|
Allocation Type | Multi-year Fund |
Section | 一般 |
Review Section |
Basic Section 12040:Applied mathematics and statistics-related
|
Research Institution | National Graduate Institute for Policy Studies (2021-2022) Future University-Hakodate (2020) |
Principal Investigator |
竹之内 高志 政策研究大学院大学, 政策研究科, 教授 (50403340)
|
Project Period (FY) |
2020-04-01 – 2024-03-31
|
Project Status |
Granted (Fiscal Year 2022)
|
Budget Amount *help |
¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000)
Fiscal Year 2022: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2021: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2020: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
|
Keywords | 頑健性 / 教師なし学習 / 不均衡分類問題 / 対照学習 / 弱ラベル / ニューラルネットワーク / ロバスト / γダイバージェンス / 独立成分分析 / 非確率モデル |
Outline of Research at the Start |
A: 計算量の効率性の観点から, 非確率モデルを用いて,離散, 連続, およびその他のヘテロな構造を持つデータ(グラフ構造など)に対して, 高精度・高効率に推定・推論を行うことが可能な枠組みを提案し, その性質(精度, 効率等)について理論的な保証を与える. B: Aで提案した枠組みを, データ取得にまつわる様々な状況(ラベル情報の大規模な欠測(PU学習), ノイズに対する頑健性, 不均衡なクラスラベル, マルチタスク対応, few(zero)-shot学習等)に対応可能な形に拡張する.
|
Outline of Annual Research Achievements |
不均衡分類問題について : 分類問題においてはしばしばクラス間のサンプルサイズ比が著しく偏ってしまう.このような状況においては, 少数の例題しか得られないクラス(例えば正のラベルを持つクラス)の情報を得ることが難しいため, 全体の性能(特に正のクラスを判別する性能)の低下が問題となる. 一方, 実際のデータには, 負とラベル付けされているが, ラベル以外の情報は正ラベルを持つ例題を近く, 正とラベル付されてもおかしくないような例題, 「ニアミス例題」が豊富に含まれている場合がある. 例えば, 洪水のような自然災害を検出する問題が挙げられる.洪水は稀なイベントでありデータセットにはほとんど含まれていないが, 川の水位を観測すると, 「実際には洪水が起こらなかったが水位は堤防高さに近づいた」, というような例題はデータセットに複数含まれている場合がある. 本研究では, このようなニアミス例題に含まれる情報を学習に利用する手法を提案し, ニアミス例題がある程度存在すれば推定量の分散を減少させることが可能であることを示した. 相互情報量を用いた表現学習と外れ値ノイズに対するロバスト化: 対照学習を用いた教師なし表現学習法を扱った. 本研究では, 確率モデルを個別に推定せずに, 確率モデルと事前に設定したノイズ分布の比(密度比)を直接推定することで対照学習を行うことを考えている. 対照学習と相互情報量の最大化との関連性を調べ, ある条件下では密度比の推定が相互情報量の最大化に必要かつ十分であることを示した. また, 対照学習の実用的な手法の多くは最尤推定に基づくものであり, 外れ値ノイズの混入に弱いことが知られている. 外れ値ノイズに対する頑健性を獲得するため, ガンマ-ダイバージェンスを用いた密度比推定を考案し, 手法の頑健性を理論的に保証した.
|
Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
対照学習において, 正規化された確率モデルを個別に推定せずに, 確率モデルと事前に設定したノイズ分布の比(密度比)を直接推定するアプローチの理論的背景の解明とノイズに対する頑健化が実現できた.
|
Strategy for Future Research Activity |
正規化されていない非確率モデルを用いた統計的推定法に関して, サンプリングに基づく方法, 情報幾何的方法に基づく方法の2つのアプローチを検討している.
|