• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2021 Fiscal Year Research-status Report

一般化ベイズ学習法の情報論的解釈と設計

Research Project

Project/Area Number 19K11825
Research InstitutionToyohashi University of Technology

Principal Investigator

渡辺 一帆  豊橋技術科学大学, 工学(系)研究科(研究院), 准教授 (10506744)

Project Period (FY) 2019-04-01 – 2024-03-31
Keywordsε不感応損失 / 情報量規準 / スパース推定 / 正則化パラメータ
Outline of Annual Research Achievements

データ解析において幅広い応用を持つサポートベクトル回帰はε不感応損失関数により構築されている。不感応パラメータεの最尤法およびベイズ法について、その統計的推定精度を評価する汎化誤差を解析した。その結果、構築した推定法はεが正の範囲では、統計的正則モデルでの推定と同様に扱うことができるが、εが0においてだけ正則モデルとは異なる性質を示すことが明らかになり、それぞれの場合で従来のモデル選択規準の適用可能性と改変の必要性が示唆された。人工データを用いて赤池情報量規準やベイズ情報量規準の適用可能性を検証した。この成果について、情報理論分野の国際会議において発表した。
疎性に基づく推定法(スパース推定法)においては、疎性の度合いを決定する正則化パラメータを適切に設定する必要がある。経験ベイズ法による正則化パラメータの推定は、ベイズ法における事前分布の最適化問題と捉えることができるが、スパース推定法においては共役性が成り立たず計算が困難となる。時系列データから区分線形なトレンド成分を抽出するスパース推定法であるL1トレンドフィルタリングについて、局所変分近似による近似法を導出し、正則化パラメータの推定法を構築した。トレンド推定精度、変化点検出精度に関して、系列長から決まる一定値に基づく従来の推定法と数値実験による比較を行い、導出された推定法の有効性が示された。この成果について、共同研究者が情報理論分野の国内会議において発表を行い、国際会議に論文を投稿し、採択された。

Current Status of Research Progress
Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

正則化パラメータの推定法は、ベイズ法における事前分布の最適化問題と捉えることができ、成果として得られたスパース推定における近似的な推定法は、その一例を与えるが、推定法自体の解析や一般論との関係については未解明点が多い。

Strategy for Future Research Activity

スパース推定における正則化パラメータ推定法は、事前分布のさらなる一般化や、より効率的な計算法を模索していく。推定法自体の解析や、一般論との関係についても共同研究者との議論を進める。

Causes of Carryover

参加を予定していた国際会議がオンライン開催となり、未使用額が生じた。次年度以降での国際会議参加に使用する予定である。

  • Research Products

    (6 results)

All 2022 2021 Other

All Journal Article (3 results) (of which Peer Reviewed: 3 results,  Open Access: 1 results) Presentation (2 results) (of which Int'l Joint Research: 1 results) Remarks (1 results)

  • [Journal Article] Generalized Dirichlet-process-means for f-separable distortion measures2021

    • Author(s)
      Masahiro Kobayashi, Kazuho Watanabe
    • Journal Title

      Neurocomputing

      Volume: 458 Pages: 667~689

    • DOI

      10.1016/j.neucom.2020.03.123

    • Peer Reviewed / Open Access
  • [Journal Article] Unbiased Estimation Equation under f-Separable Bregman Distortion Measures2021

    • Author(s)
      Masahiro Kobayashi, Kazuho Watanabe
    • Journal Title

      Proc. of 2020 IEEE Information Theory Workshop

      Volume: - Pages: 311~315

    • DOI

      10.1109/ITW46852.2021.9457678

    • Peer Reviewed
  • [Journal Article] Statistical Learning of the Insensitive Parameter in Support Vector Models2021

    • Author(s)
      Kazuho Watanabe
    • Journal Title

      Proc. of IEEE International Symposium on Information Theory

      Volume: - Pages: 2501~2506

    • DOI

      10.1109/ISIT45174.2021.9518182

    • Peer Reviewed
  • [Presentation] Approximate Empirical Bayes Estimation of the Regularization Parameter in l1 Trend Filtering2022

    • Author(s)
      Akiharu Omae, Kazuho Watanabe
    • Organizer
      IEEE International Symposium on Information Theory
    • Int'l Joint Research
  • [Presentation] 変分近似による L1 トレンドフィルタリングの超パラメータ推定2021

    • Author(s)
      大前昭晴, 渡辺一帆
    • Organizer
      第44回情報理論とその応用シンポジウム
  • [Remarks] 豊橋技術科学大学情報・知能工学系学習推論システム研究室

    • URL

      http://www.lisl.cs.tut.ac.jp/

URL: 

Published: 2022-12-28  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi