• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2023 Fiscal Year Annual Research Report

一般化ベイズ学習法の情報論的解釈と設計

Research Project

Project/Area Number 19K11825
Research InstitutionToyohashi University of Technology

Principal Investigator

渡辺 一帆  豊橋技術科学大学, 工学(系)研究科(研究院), 准教授 (10506744)

Project Period (FY) 2019-04-01 – 2024-03-31
Keywordsレート歪み関数 / 最適再構成分布 / 板倉・斎藤距離 / ミニマックス予測 / ε不感応損失 / スパース推定 / 正則化パラメータ
Outline of Annual Research Achievements

ベイズ学習における二種類のレート歪み関数を定式化し、歪みが小さい極限の振る舞いを解析し、両者の関係を示す不等式を導出した。
前年度までに得られたサポートベクトル回帰における不感応パラメータの推定精度の評価に基づき、人工データおよび実データを用いて赤池情報量規準やベイズ情報量規準の適用可能性を検証した。正則化パラメータなどの他のパラメータもデータから設定する状況に拡張することで、カーネル関数の選択も含めた実用的なモデル選択法の基礎となることが示唆された。
その他に疎性に基づく推定法(スパース推定法)における正則化パラメータの推定法やオンライン時系列予測、レート歪み関数を達成する最適再構成分布に関する研究を期間全体を通じて実施した。経験ベイズ法による正則化パラメータの推定は、ベイズ法における事前分布の最適化問題と捉えることができるが、スパース推定法においては共役性が成り立たず計算が困難となる。時系列データから区分線形なトレンド成分を抽出するスパース推定法であるL1トレンドフィルタリングについて、局所変分近似による近似法を導出し、正則化パラメータの推定法を構築した。
ベイズ学習による系列の予測は一定の最適性を持つが、観測データ系列の出方によっては、全てのデータを観測した際に最適な予測との乖離が大きくなってしまう可能性がある。実数値データの予測問題において提案された、この乖離に関する最適性を持つ予測法を、二値データからの生成確率の変動を予測する方法に拡張し、ベイズ学習で用いられる近似法が有効であることを示し、近似の下で最適性を持つ予測法を開発した。
音声信号処理、通信トラフィック理論等に広く用いられる板倉・斎藤距離を歪み尺度とした場合のレート歪み関数を達成する再構成分布を調べ、情報源がガンマ分布以外の場合には一般的に離散分布となることを示した。

  • Research Products

    (8 results)

All 2024 2023 Other

All Journal Article (1 results) (of which Peer Reviewed: 1 results,  Open Access: 1 results) Presentation (6 results) Remarks (1 results)

  • [Journal Article] Unbiased Estimating Equation and Latent Bias under f-Separable Bregman Distortion Measures2024

    • Author(s)
      Kobayashi Masahiro、Watanabe Kazuho
    • Journal Title

      IEEE Transactions on Information Theory

      Volume: - Pages: -

    • DOI

      10.1109/TIT.2024.3366538

    • Peer Reviewed / Open Access
  • [Presentation] 逆数ダイバージェンスにおける推定方程式の不偏性とその多次元拡張2023

    • Author(s)
      小林真佐大,渡辺一帆
    • Organizer
      第46回情報理論とその応用シンポジウム
  • [Presentation] 経験分布とリサンプリングを用いたfダイバージェンスに基づく推定2023

    • Author(s)
      小林真佐大,渡辺一帆
    • Organizer
      情報論的学習理論ワークショップ
  • [Presentation] γクロスエントロピーを用いたロバストVAEの提案2023

    • Author(s)
      梶大介,小林真佐大,渡辺一帆
    • Organizer
      情報論的学習理論ワークショップ
  • [Presentation] 逆ガウスモデルにおける推定方程式の不偏性とその一般化2023

    • Author(s)
      小林真佐大,渡辺一帆
    • Organizer
      電気・電子・情報関係学会東海支部連合大会
  • [Presentation] 不感応パラメータ推定サポートベクトル回帰における最適な次数選択2023

    • Author(s)
      望月翔太,渡辺一帆
    • Organizer
      電気・電子・情報関係学会東海支部連合大会
  • [Presentation] Rate-distortion theoretical views of Bayesian learning coefficients2023

    • Author(s)
      Kazuho Watanabe
    • Organizer
      IMSI Workshop: Bayesian Statistics and Statistical Learning
  • [Remarks] 豊橋技術科学大学情報・知能工学系学習推論システム研究室Webサイト

    • URL

      http://www.lisl.cs.tut.ac.jp/

URL: 

Published: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi