| 研究課題/領域番号 |
20K03753
|
|---|
| 研究機関 | 政策研究大学院大学 |
|---|
研究代表者 |
竹之内 高志 政策研究大学院大学, 政策研究科, 教授 (50403340)
|
|---|
| 研究期間 (年度) |
2020-04-01 – 2023-03-31
|
| キーワード | 弱ラベル / ニューラルネットワーク |
|---|
| 研究実績の概要 |
スキップコネクションはニューラルネットワークの汎化性能の向上に大きく寄与していると考えられるアーキテクチャーである。 スキップコネクションがニューラルネットワークの汎化性能にどのような影響を及ぼしているかを調べるために、 Neural Tangent Kernel (NTK)を用いてスキップコネクション付きニューラルネットワークの性質の解析を行った。 既存研究により、 各ニューラルネットワークの層数が無限大に発散する時、 スキップコネクションを持たないニューラルネットワークに付随するNTKは入力とは無関係な定数となり、 意味のある情報を出力層に向かって伝播しないことがわかっている。 その一方、 スキップコネクションを持つニューラルネットワークの場合のNTKは入力に応じたカーネル関数となり、 意味のある情報を伝播させることが可能となることが明らかになった。
データセット中のラベル情報の一部が与えられる、 という特別な構造を持つ判別問題について議論を進めた。 このような問題は弱教師付き分類問題と呼ばれる。 理論的な解析により弱いラベルの学習における損失関数が適切である条件を導出し、 弱教師あり学習における適切な損失の表現定理を導出した．
これらの理論的知見から、 一般化ロジットスクイージングと呼ばれる新しい正則化スキームを導出した。 結果として、 適切性を失うことなく下限を持つ弱ラベル損失を構成することが可能となった。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
ラベルに関して完全な情報を保持していないという特殊な構造を持つデータに対する適切な学習方法に関して, 国際会議などで一定の評価をされている.
|
| 今後の研究の推進方策 |
判別問題において大きな問題となっている不均衡ラベル問題(各クラスラベルの比率が大きく偏る問題)や, 密度比推定を用いた教師なし学習の一般化, およびノイズに対する頑健化などについて, 有効な手法の考案と理論的な考察を行っていく.
|
| 次年度使用額が生じた理由 |
コロナウイルスの蔓延による種々の制限により, 国際会議における情報収集や共同研究者とのミーティング行えなかったため.
情報収集, 成果公開や議論のため国際会議への参加, および国内の共同研究者とのミーティングのための出張旅費として支出する.
|
