Robust estimation with effective learning
| Project/Area Number |
17K00065
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Research Field |
Statistical science
|
|---|
| Research Institution | The Institute of Statistical Mathematics |
|---|
Principal Investigator |
藤澤 洋徳 統計数理研究所, 数理・推論研究系, 教授 (00301177)
|
|---|
| Project Period (FY) |
2017-04-01 – 2022-03-31
|
| Project Status |
Granted (Fiscal Year 2019)
|
| Budget Amount *help |
¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000)
Fiscal Year 2021: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2020: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2019: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2018: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2017: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
|
|---|
| Keywords | ロバスト統計 / 歪正規分布 / EMアルゴリズム / モメンタム構造 / 一般化線形回帰モデル / 確率的最適化 / 最尤推定 / ダイバージェンス / スパース・モデリング / 潜在変数モデル / MMアルゴリズム / 学習 |
|---|
| Outline of Annual Research Achievements |
非対称分布として最も有名である歪正規分布は潜在変数モデルである．潜在変数モデルに対しては，EMアルゴリズムを作る際に，典型的な作り方がある．しかし，歪正規分布に対しては，通常の考え方では陽に書けるハンディなEMアルゴリズムは得られない．そのために，過去に提案されたEMアルゴリズムは，複雑な方程式を解く必要があるなどの問題点が存在していた．
そこで，代表者らは，過剰パラメータをあえて導入することで，ハンディなEMアルゴリズムを構成した．ハンディなEMアルゴリズムは他には存在しないと思っていたのだが，違う文脈で作られていたEMアルゴリズムを発見した．そのアルゴリズムと提案したアルゴリズムは非常に似た形であった．しかし，数値実験をすると，提案手法の方が圧倒的に早く収束していた．
アルゴリズムの違う部分に詳細な検討を加えると，提案手法はある種のモメンタム構造を備えていることが分かった．モメンタム構造はNesterovの加速法で有名だが，それとは違う構造であった．加えて，モメンタム構造を人工的に入れていないので，尤度を単調に増加させるというEMアルゴリズム特有の良さは壊れていない．結果的に，モメンタム構造を持ち尤度単調増加性を保持する，非常に好ましいパラメータ推定アルゴリズムを構築することに成功した．
ロバスト性とスパース性を併せもつ回帰モデリングを考えるとき，線形回帰であれば通常の座標降下法で十分に対処できるが，一般化線形回帰モデルにまで拡張すると，計算量の問題が起きる．その問題点を克服するために確率的最適化を利用した．収束に関する性質も与えた．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初の計画通りに潜在変数モデルへの考察が進んだ．
|
| Strategy for Future Research Activity |
現在投稿中の論文を雑誌にしっかりと掲載したい．
潜在変数モデルに対する考察をさらに進めたい．
|
Report
(3 results)
Research Products
(29 results)
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
[Book] 統計科学百科事典2018
Author(s)
Miodrag Lovric (Ed.)
Total Pages
2130
Publisher
丸善出版
ISBN
9784621303108
Related Report
-
[Book] ロバスト統計2017
Author(s)
藤澤 洋徳
Total Pages
176
Publisher
近代科学社
ISBN
9784764905429
Related Report
