• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2021 年度 実施状況報告書

非確率モデルを用いた統計的推定の枠組みの構築とヘテロな構造を持つデータへの応用

研究課題

研究課題/領域番号 20K03753
研究機関政策研究大学院大学

研究代表者

竹之内 高志  政策研究大学院大学, 政策研究科, 教授 (50403340)

研究期間 (年度) 2020-04-01 – 2023-03-31
キーワード弱ラベル / ニューラルネットワーク
研究実績の概要

スキップコネクションはニューラルネットワークの汎化性能の向上に大きく寄与していると考えられるアーキテクチャーである。 スキップコネクションがニューラルネットワークの汎化性能にどのような影響を及ぼしているかを調べるために、 Neural Tangent Kernel (NTK)を用いてスキップコネクション付きニューラルネットワークの性質の解析を行った。 既存研究により、 各ニューラルネットワークの層数が無限大に発散する時、 スキップコネクションを持たないニューラルネットワークに付随するNTKは入力とは無関係な定数となり、 意味のある情報を出力層に向かって伝播しないことがわかっている。 その一方、 スキップコネクションを持つニューラルネットワークの場合のNTKは入力に応じたカーネル関数となり、 意味のある情報を伝播させることが可能となることが明らかになった。

データセット中のラベル情報の一部が与えられる、 という特別な構造を持つ判別問題について議論を進めた。 このような問題は弱教師付き分類問題と呼ばれる。 理論的な解析により弱いラベルの学習における損失関数が適切である条件を導出し、 弱教師あり学習における適切な損失の表現定理を導出した.
これらの理論的知見から、 一般化ロジットスクイージングと呼ばれる新しい正則化スキームを導出した。 結果として、 適切性を失うことなく下限を持つ弱ラベル損失を構成することが可能となった。

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

ラベルに関して完全な情報を保持していないという特殊な構造を持つデータに対する適切な学習方法に関して, 国際会議などで一定の評価をされている.

今後の研究の推進方策

判別問題において大きな問題となっている不均衡ラベル問題(各クラスラベルの比率が大きく偏る問題)や, 密度比推定を用いた教師なし学習の一般化, およびノイズに対する頑健化などについて, 有効な手法の考案と理論的な考察を行っていく.

次年度使用額が生じた理由

コロナウイルスの蔓延による種々の制限により, 国際会議における情報収集や共同研究者とのミーティング行えなかったため.
情報収集, 成果公開や議論のため国際会議への参加, および国内の共同研究者とのミーティングのための出張旅費として支出する.

  • 研究成果

    (3件)

すべて 2021

すべて 学会発表 (3件) (うち国際学会 1件)

  • [学会発表] スキップコネクション付きニューラルネットワークの理論解析.2021

    • 著者名/発表者名
      和田孝喜, 竹之内高志.
    • 学会等名
      第24回情報論的学習理論ワークショップ (IBIS2021).
  • [学会発表] Lower-Bounded Proper Losses for Weakly Supervised Classification.2021

    • 著者名/発表者名
      Shuhei M Yoshida, Takashi Takenouchi, Masashi Sugiyama.
    • 学会等名
      Proceedings of the 38th International Conference on Machine Learning
    • 国際学会
  • [学会発表] Lower-Bounded Proper Losses for Weakly Supervised Classification2021

    • 著者名/発表者名
      吉田 周平, 竹之内 高志, 杉山 将
    • 学会等名
      第24回情報論的学習理論ワークショップ (IBIS2021).

URL: 

公開日: 2022-12-28  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi