• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2023 年度 実施状況報告書

変分近似学習法の情報幾何学的研究

研究課題

研究課題/領域番号 23K11223
研究機関東洋大学

研究代表者

佐野 崇  東洋大学, 情報連携学部, 准教授 (00710295)

研究期間 (年度) 2023-04-01 – 2026-03-31
キーワード情報幾何学 / 機械学習 / 確率的グラフィカルモデル / 変分近似法 / 深層学習
研究実績の概要

近似学習法の情報幾何学的研究を行った。今年度は、2値確率変数をもち、ペアワイズな相互作用を持つIsingモデルを用いて、平均場近似とBethe近似について研究を行った。
それぞれの近似学習法では、第一に、真の確率分布を変分確率分布で近似する。本年度は、それら近似の幾何学的意味について、調査と研究を行った。その結果、Bethe近似は、真の確率分布から変分確率分布への情報幾何学的な射影となっていることが分かった。すなわち、真の確率分布のパラメータが色々に動くとき、対応するBethe近似確率分布は、ある多様体をなす、ということが分かった。また、平均場近似は、Bethe近似とは異なり、経験分布から変分確率分布への単純な射影とは解釈できないことが分かった。
一般にデータからの学習とは、訓練データによる経験確率分布から、対象の確率分布族の一点を求める射影操作である。したがって、例えば Bethe 近似学習法では、経験分布から変分確率分布への射影と、真の確率分布から変分確率分布への射影を一致させる操作であると理解できる。本年度は、このような近似学習法の幾何学的描像を得ることに成功した。
更に、深層学習を含むニューラルネットワークの損失関数について、幾何学的な視点からの研究を行った。特に、損失関数のパラメータの関数としての形状は、汎化性能とも関係し、重要な対象である。この研究では、ニューラルネットワークや損失関数の持つ性質が、損失関数のパラメータ空間における形状に大きな制約を与えることが分かった。この研究は、深層ニューラルネットワークの汎化性能が向上する理由の説明や、新しいネットワークアーキテクチャの提案につながると考えられる。

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

おおむね計画通り、平均場近似とBethe近似について、近似学習法の幾何学的意味付けを行う研究ができたため。

今後の研究の推進方策

ここまでの研究で、通常の平均場近似は、幾何学的に性質の良い射影とは解釈できないことが分かった。このことが、精度を含めて、近似方法の性質にどのように影響を与えるか考察したい。また、その他の変分近似方法に対する解析や、学習アルゴリズムの開発も行う。
さらに、深層ニューラルネットワークの損失関数の幾何学的解析も引き続き実施する。

次年度使用額が生じた理由

本年度は大規模計算機の必要な計算が発生しなかったため、新型モデルの発売開始も見据えて、一定額の使用を次年度に送ることにした。

  • 研究成果

    (3件)

すべて 2024 2023

すべて 学会発表 (3件)

  • [学会発表] モンテカルロ版 RGoal アルゴリズムの改良2024

    • 著者名/発表者名
      一杉 裕志、中田 秀基、高橋 直人、竹内 泉、佐野 崇
    • 学会等名
      第26回 汎用人工知能研究会
  • [学会発表] 報酬最大化を目的とする行動計画・実行・対話・推論の統一的制御機構2023

    • 著者名/発表者名
      一杉 裕志、中田 秀基、高橋 直人、竹内 泉、佐野 崇
    • 学会等名
      2023年度 人工知能学会全国大会
  • [学会発表] 再帰的な階層型強化学習 RGoal へのサブルーチン例外終了機能の導入2023

    • 著者名/発表者名
      一杉 裕志、中田 秀基、高橋 直人、竹内 泉、佐野 崇
    • 学会等名
      第25回 汎用人工知能研究会

URL: 

公開日: 2024-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi