• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

変分形式ダイバージェンスに基づくパラメトリック推定の発展

研究課題

研究課題/領域番号 23K16849
研究種目

若手研究

配分区分基金
審査区分 小区分60030:統計科学関連
研究機関豊橋技術科学大学

研究代表者

小林 真佐大  豊橋技術科学大学, 情報メディア基盤センター, 助教 (30936787)

研究期間 (年度) 2023-04-01 – 2027-03-31
研究課題ステータス 交付 (2023年度)
配分額 *注記
4,550千円 (直接経費: 3,500千円、間接経費: 1,050千円)
2026年度: 1,300千円 (直接経費: 1,000千円、間接経費: 300千円)
2025年度: 1,300千円 (直接経費: 1,000千円、間接経費: 300千円)
2024年度: 1,040千円 (直接経費: 800千円、間接経費: 240千円)
2023年度: 910千円 (直接経費: 700千円、間接経費: 210千円)
キーワード変分形式ダイバージェンス / fダイバージェンス / ロバスト推定 / 推定方程式の不偏性 / f分離可能歪み尺度 / ブレグマンダイバージェンス / 板倉斎藤距離 / 逆数ダイバージェンス / 経験推定 / 統計的推定
研究開始時の研究の概要

統計的推定法としてよく知られる最尤法は、真の分布と仮定したモデルをKLダイバージェンスで測り最適化する問題に対応する。しかし、外れ値に脆弱であるため別のダイバージェンスに基づく推定法が研究されてきた。推定を簡便に行うためには、データから決まる経験分布を代入可能であることが求められるが、そのようなダイバージェンスは限られる。
近年、既存のダイバージェンスに経験分布を代入可能であるように変形した変分表現が注目を集めている。本研究では、変分形式ダイバージェンスに基づくパラメータ推定法の構築を行う。変分上界を達成するためには関数空間の最適化が現れるが、これを制限した場合の推定への影響についても調査する。

研究実績の概要

経験分布を用いたfダイバージェンスの最小化に基づくパラメトリック推定について検討した。最適化の手順は、fダイバージェンスの変分下界が上限を達成するための関数の最適化と変分下界のモデルパラメータに関する最適化の繰り返しからなる。既存研究では、関数の構成法として、1.ニューラルネットワーク、2.カーネル関数、3.仮定したパラメトリックモデルを用いる等の方法が提案されていた。これらはそれぞれ、1.計算コストが高い、2.次元の呪いの悪影響を受ける、3.外れ値に脆弱等の問題があった。本研究では、3の方法をM推定の考え方に基づいて改良を行った。すなわち、仮定したパラメトリックモデルを特別な場合として含むモデルから関数を構成した。外れ値を混入させて数値実験を行ったところ、推定量のバイアスと平均二乗誤差が既存手法3に比べて改善することが確認できた。
最小ダイバージェンス法とも深いかかわりがあるM推定の問題について推定方程式の不偏性の観点から研究を進めた。具体的には、単調増加関数fと2点のデータベクトル間のブレグマンダイバージェンスによって定義される損失関数に注目し、解析的積分が困難であるバイアス補正項を必要とせずに推定方程式が不偏となる統計モデル、ブレグマンダイバージェンス、関数fの組み合わせを調べた。バイアス補正項の必要性の有無は推定に用いるブレグマンダイバージェンスに依存し、関数fの条件は簡単な積分の有界性によって特徴づけられることが明らかになった。以前より投稿していた、マハラノビス距離と板倉斎藤距離に関する結果が情報理論の主要論文誌に採択された。また、逆数関数によって定義されるブレグマンダイバージェンスに注目して調べたところ、2種類の統計モデルに対してバイアス補正項を必要とせずに推定方程式の不偏性が成り立つことを証明できた。この結果は情報理論の主要国際会議ISITに論文が採択された。

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

当初からの計画通り、経験分布を用いたfダイバージェンスの変分表現に基づくパラメトリック推定法を構築することができた。しかしながら、まだ論文にまとめることができていない。
以前から投稿していた論文が情報理論の主要論文誌であるIEEE Transactions on Information Theoryに採択された。この論文の発展として得た結果が情報理論の主要国際会議であるIEEE ISIT2024に採択された。
以上を総括して、おおむね順調に進展していると判断した。

今後の研究の推進方策

fダイバージェンスの変分表現に基づくパラメトリック推定に関する研究を論文にまとめる。また、ISITに採択された研究に関しては、漸近分散の導出や数値実験を行い、内容を拡張した上でフルペーパーの論文にまとめる。

報告書

(1件)
  • 2023 実施状況報告書
  • 研究成果

    (6件)

すべて 2024 2023 その他

すべて 雑誌論文 (1件) (うち査読あり 1件、 オープンアクセス 1件) 学会発表 (4件) 備考 (1件)

  • [雑誌論文] Unbiased Estimating Equation and Latent Bias Under f-Separable Bregman Distortion Measures2024

    • 著者名/発表者名
      Masahiro Kobayashi, Kazuho Watanabe
    • 雑誌名

      IEEE Transactions on Information Theory

      巻: - 号: 8 ページ: 5763-5781

    • DOI

      10.1109/tit.2024.3366538

    • 関連する報告書
      2023 実施状況報告書
    • 査読あり / オープンアクセス
  • [学会発表] 逆数ダイバージェンスにおける推定方程式の不偏性とその多次元拡張2023

    • 著者名/発表者名
      小林真佐大, 渡辺一帆
    • 学会等名
      第46回情報理論とその応用シンポジウム
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] γクロスエントロピーを用いたロバストVAEの提案2023

    • 著者名/発表者名
      梶大介, 小林真佐大, 渡辺一帆
    • 学会等名
      第26回情報論的学習理論ワークショップ
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] 経験分布とリサンプリングを用いたfダイバージェンスに基づく推定2023

    • 著者名/発表者名
      小林真佐大, 渡辺一帆
    • 学会等名
      第26回情報論的学習理論ワークショップ
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] 逆ガウスモデルにおける推定方程式の不偏性とその一般化2023

    • 著者名/発表者名
      小林真佐大, 渡辺一帆
    • 学会等名
      令和五年度 電気・電子・情報関係学会 東海支部連合大会
    • 関連する報告書
      2023 実施状況報告書
  • [備考] 研究代表者のwebページ

    • URL

      https://sites.google.com/view/kobayashi/

    • 関連する報告書
      2023 実施状況報告書

URL: 

公開日: 2023-04-13   更新日: 2024-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi