2016 Fiscal Year Research-status Report
一般化ダイバージェンスを用いた非確率・拡張モデルの推定理論とその応用
| Project/Area Number |
16K00051
|
|---|
| Research Institution | Future University-Hakodate |
|---|
Principal Investigator |
竹之内 高志 公立はこだて未来大学, システム情報科学部, 准教授 (50403340)
|
|---|
| Project Period (FY) |
2016-04-01 – 2019-03-31
|
| Keywords | 統計的推定 / ダイバージェンス / 非確率モデル / 離散確率モデル |
|---|
| Outline of Annual Research Achievements |
高次元離散空間上の確率モデルに対する最尤推定量は陽に求まらないことが多いため, 勾配法を用いることになる. その一方で, 高次元離散空間では確率モデルであることを要請するための正規化項の計算にしばしば指数オーダーの計算量が必要となる. 勾配を計算しパラメーターを更新する際には, 更新のたびに正規化項の計算が必要となるため, 多大な計算コストが必要となる.
本研究では離散的現象を記述する際に, 確率モデルではなく, 正規化されていない非確率モデル(拡張モデルと呼ぶ)を用いるアプローチを採用する. 通常のカルバック・ライブラーダイバージェンスを用いた推定は拡張モデルの適用を想定していないため, 同次性を持つダイバージェンスを用いた推定法について検討を行い, 予備的な結果を得た. 考案した推定量が, 特定の条件下で凸性などの最適化する際に有用な性質を持つことを示した. また漸近的な解析により, 拡張モデルと同次性を持つダイバージェンスを組み合わせることでクラメール・ラオの下限を達成する推定量を構成することが可能であることを示した. 数十-数百分の一の計算コストで最尤推定量に匹敵する性能を達成可能であることを人工データを用いた小規模な実験で確認している.
また, カルバック・ライブラーダイバージェンスを含む一般的なクラスであるブレグマンダイバージェンスを更に変形した変形ブレグマンダイバージェンスと拡張モデルを組み合わせて推定を行うための枠組みを考案し, 予備的な解析を行った. 提案した推定量がフィッシャー一致性などの好ましい性質を持つことを示した.
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
非確率モデルと同次性を持つダイバージェンス, あるいは変形ブレグマンダイバージェンスを組み合わせた推定量について, 予備的ではあるが有用な結果を得ている. また, 簡単な実験でその有効性を確かめることが出来ている.
|
| Strategy for Future Research Activity |
同次性を持つダイバージェンスや変形ブレグマンダイバージェンスと, 離散確率変数の非確率モデルを用いた推定に関して, ある程度有望な結果を得ることが出来た. 次年度以降は, これらの手法の洗練化と拡張(ノイズに対する頑健化など), 理論解析の精緻化に取り組んでいく. また, 提案した手法を連続変数に対して適用するための拡張についても検討を行う.
|
| Causes of Carryover |
初年度は予備実験のみで，大規模な計算を行わなかったため高額な計算機を購入しなかった.
|
| Expenditure Plan for Carryover Budget |
大規模計算用の計算機を購入する．
|
