| Project/Area Number |
19K11825
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 60010:Theory of informatics-related
|
|---|
| Research Institution | Toyohashi University of Technology |
|---|
Principal Investigator |
Watanabe Kazuho 豊橋技術科学大学, 工学(系)研究科(研究院), 准教授 (10506744)
|
|---|
| Project Period (FY) |
2019-04-01 – 2024-03-31
|
| Project Status |
Completed (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000)
Fiscal Year 2023: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000)
Fiscal Year 2022: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000)
Fiscal Year 2021: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2020: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2019: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
|
|---|
| Keywords | レート歪み関数 / 板倉・斎藤距離 / オンライン予測 / 局所変分近似 / 不感応パラメータ / 正則化パラメータ / L1トレンドフィルタ / 最適再構成分布 / ミニマックス予測 / ε不感応損失 / スパース推定 / 情報量規準 / 頑健性 / 変動二値情報源 / 一般化事後分布 / 経験ベイズ法 / 潜在変数モデル |
|---|
| Outline of Research at the Start |
本研究では統計的機械学習法の性能を解析する学習理論研究や、その知見を応用した学習法の設計論の構築を行う。特に、ベイズ推測に基づく学習法であるベイズ学習を、情報理論の一分野であり歪み有りデータ圧縮の限界を明かにするレート歪み理論により捉えることで、その性能や限界を明らかにする。そして、ベイズ学習やその一般化において重要な構成要素である事前分布および事後分布の設計に関し、レート歪み理論による性能限界の特徴づけおよび限界に近い性能を実現する設計法を構築する。
|
| Outline of Final Research Achievements |
To establish a fundamental theory for the information theoretically principled design of statistical learning methods, we studied online time-series prediction, the optimal reconstruction distribution achieving the rate-distortion function, the estimation of the insensitivity in loss functions and the estimation of the regularization parameter in sparse estimation methods. For respective subproblems, we extended a minimax optimal prediction method for real valued data to the prediction of the time-varying probabilities from binary inputs, characterized the optimal reconstruction distribution achieving the rate-distortion function for Itakura-Saito distortion measure, analyzed the generalization errors in learning of the insensitive parameter, and developed an efficient approximate estimation method for the regularization parameter of L1 trend filtering, which extracts piece-wise linear trend from time-series data.
|
| Academic Significance and Societal Importance of the Research Achievements |
歪み有りデータ圧縮の限界であるレート歪み関数を達成する再構成分布を特徴づける例を追加しており、既存の結果との対比に用いることができる。再構成分布の最適化に対応する、ベイズの定理に基づく学習法は一般に計算困難性を伴う。具体的な時系列解析問題において効率的な近似法を構築し、その性質が実験的に、または一部理論的に明らかにされた。
|
