2021 Fiscal Year Research-status Report
非確率モデルを用いた統計的推定の枠組みの構築とヘテロな構造を持つデータへの応用
| Project/Area Number |
20K03753
|
|---|
| Research Institution | National Graduate Institute for Policy Studies |
|---|
Principal Investigator |
竹之内 高志 政策研究大学院大学, 政策研究科, 教授 (50403340)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | 弱ラベル / ニューラルネットワーク |
|---|
| Outline of Annual Research Achievements |
スキップコネクションはニューラルネットワークの汎化性能の向上に大きく寄与していると考えられるアーキテクチャーである。 スキップコネクションがニューラルネットワークの汎化性能にどのような影響を及ぼしているかを調べるために、 Neural Tangent Kernel (NTK)を用いてスキップコネクション付きニューラルネットワークの性質の解析を行った。 既存研究により、 各ニューラルネットワークの層数が無限大に発散する時、 スキップコネクションを持たないニューラルネットワークに付随するNTKは入力とは無関係な定数となり、 意味のある情報を出力層に向かって伝播しないことがわかっている。 その一方、 スキップコネクションを持つニューラルネットワークの場合のNTKは入力に応じたカーネル関数となり、 意味のある情報を伝播させることが可能となることが明らかになった。
データセット中のラベル情報の一部が与えられる、 という特別な構造を持つ判別問題について議論を進めた。 このような問題は弱教師付き分類問題と呼ばれる。 理論的な解析により弱いラベルの学習における損失関数が適切である条件を導出し、 弱教師あり学習における適切な損失の表現定理を導出した．
これらの理論的知見から、 一般化ロジットスクイージングと呼ばれる新しい正則化スキームを導出した。 結果として、 適切性を失うことなく下限を持つ弱ラベル損失を構成することが可能となった。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
ラベルに関して完全な情報を保持していないという特殊な構造を持つデータに対する適切な学習方法に関して, 国際会議などで一定の評価をされている.
|
| Strategy for Future Research Activity |
判別問題において大きな問題となっている不均衡ラベル問題(各クラスラベルの比率が大きく偏る問題)や, 密度比推定を用いた教師なし学習の一般化, およびノイズに対する頑健化などについて, 有効な手法の考案と理論的な考察を行っていく.
|
| Causes of Carryover |
コロナウイルスの蔓延による種々の制限により, 国際会議における情報収集や共同研究者とのミーティング行えなかったため.
情報収集, 成果公開や議論のため国際会議への参加, および国内の共同研究者とのミーティングのための出張旅費として支出する.
|
