• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2020 Fiscal Year Research-status Report

一般化ベイズ学習法の情報論的解釈と設計

Research Project

Project/Area Number 19K11825
Research InstitutionToyohashi University of Technology

Principal Investigator

渡辺 一帆  豊橋技術科学大学, 工学(系)研究科(研究院), 准教授 (10506744)

Project Period (FY) 2019-04-01 – 2024-03-31
Keywordsレート歪み関数 / 最適再構成分布 / 板倉・斎藤距離 / ε不感応損失 / 頑健性
Outline of Annual Research Achievements

レート歪み関数は歪み有りデータ圧縮の限界を示すが、その評価に必要な最適再構成分布の導出は、ごく少数の歪み尺度、情報源の例に限られていた。音声信号処理等に広く用いられる板倉・斎藤距離を歪み尺度とした場合のレート歪み関数を達成する再構成分布を調べ、情報源がガンマ分布以外の場合には離散分布となることを示し、情報理論分野の国際会議で発表した。
データ解析において幅広い応用を持つサポートベクトル回帰はε不感応損失関数により構築されている。不感応パラメータεのデータからの推定法を構築し、その統計的推定精度を評価する汎化誤差を解析した。その結果、構築した推定法はεが正の範囲では、統計的正則モデルでの推定と同様に扱うことができるが、εが0においてだけ正則モデルとは異なる性質を示すことが明らかになり、それぞれの場合で従来のモデル選択規準の適用可能性と改変の必要性が示唆された。
データ中の外れ値への頑健化や最大誤差の最小化への対応など、従来の機械学習法の改良を、関数fの選択により実現するf分離可能歪み尺度に基づく学習法について共同研究を行った。学習結果として得られる推定量の一致性のための必要条件である推定方程式の不偏性に着目し、最も基本的かつ幅広い応用を持つ二乗距離や板倉・斎藤距離について、それらのf分離性による拡張において、一般的な条件の下で不偏性が成り立つ情報源のクラスを特徴付けた。この成果は情報理論分野の国際会議に採択され、発表された。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

ε不感応損失における不感応パラメータεの推定法は、既存の機械学習法と直接組み合わせることができるため、実用的な場面での非正則性の影響を計算機実験などで調べることができると考えられる。f分離可能歪み尺度を用いた際の推定方程式の不偏性の議論は、基本的かつ重要な知見を与えており、今後この知見に基づき機械学習法を問題に応じて改良することが期待できる。

Strategy for Future Research Activity

ε不感応損失や、f分離可能性による学習法の拡張では、共通して最大歪み最小化に基づく学習法を扱うことができるため、両者の関係を含めて統計的性質を調べることが考えられる。共同研究者との議論を深め、両者の関係を考察することで、より一般の距離尺度や複雑な学習モデルへの拡張可能性を探る。情報論的な目的関数を用いたベイズ事後分布やその近似の構成は、国内外の研究グループにおいて進展しており、オンラインでの国内・国際会議への参加などを通じて、情報収集と調査を行う。

Causes of Carryover

参加を予定していた国際学会がオンライン開催となったため次年度使用額が生じた。翌年度に学会参加(オンラインも含め)による情報収集のために使用することを計画している。

  • Research Products

    (6 results)

All 2021 2020 Other

All Journal Article (1 results) (of which Peer Reviewed: 1 results,  Open Access: 1 results) Presentation (4 results) (of which Int'l Joint Research: 4 results) Remarks (1 results)

  • [Journal Article] Generalized Dirichlet-process-means for f-separable distortion measures2021

    • Author(s)
      Masahiro Kobayashi, Kazuho Watanabe
    • Journal Title

      Neurocomputing

      Volume: 458 Pages: 667~689

    • DOI

      10.1016/j.neucom.2020.03.123

    • Peer Reviewed / Open Access
  • [Presentation] Unbiased Estimation Equation under f-Separable Bregman Distortion Measures2021

    • Author(s)
      Masahiro Kobayashi, Kazuho Watanabe
    • Organizer
      IEEE Information Theory Workshop (ITW2020)
    • Int'l Joint Research
  • [Presentation] Statistical Learning of the Insensitive Parameter in Support Vector Models2021

    • Author(s)
      Kazuho Watanabe
    • Organizer
      IEEE International Symposium on Information Theory (ISIT2021)
    • Int'l Joint Research
  • [Presentation] Discrete Optimal Reconstruction Distributions for Itakura-Saito Distortion Measure2020

    • Author(s)
      Kazuho Watanabe
    • Organizer
      IEEE International Symposium on Information Theory (ISIT2020)
    • Int'l Joint Research
  • [Presentation] Multi-Decoder RNN Autoencoder Based on Variational Bayes Method2020

    • Author(s)
      Daisuke Kaji, Kazuho Watanabe, Masahiro Kobayashi
    • Organizer
      IEEE International Joint Conference on Neural Networks (IJCNN2020)
    • Int'l Joint Research
  • [Remarks] 豊橋技術科学大学 情報・知能工学系 学習推論システム研究室

    • URL

      http://www.lisl.cs.tut.ac.jp/

URL: 

Published: 2021-12-27  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi