2014 Fiscal Year Annual Research Report
| Project/Area Number |
24500018
|
|---|
| Research Institution | Kyushu University |
|---|
Principal Investigator |
竹内 純一 九州大学, システム情報科学研究科(研究院, 教授 (80432871)
|
|---|
| Project Period (FY) |
2012-04-01 – 2015-03-31
|
| Keywords | 記述長最小原理 / MDL / 確率的コンプレキシティ / 指数型分布族 / 木情報源 / Markovモデル / スパース重ね合わせ符号 |
|---|
| Outline of Annual Research Achievements |
機械学習における指導的原理の一つである記述長最小原理(MDL原理)について，確率的コンプレキシティ(SC)の評価と，SCを達成する最適な確率的予測法(minimax予測)の研究を行っている．特に，対象のモデルが指数型分布族でない場合が課題であったが，平成25年度までに，i.i.d.の曲指数型分布族および一般の正則なi.i.d.モデルについてJeffreys混合と局所指数族バンドルに基づく手法が最適性をもつことを示してきた．特に混合型分布族については，データ列に関する制約を除去することに成功した．また平成24年度途中から，通信路容量を達成する誤り訂正符号の一つであるスパース重ね合わせ符号(Barronら，2011-)の研究を開始した．
平成26年度においては，一般の正則モデルに関するminimax予測法の解析に加え，有限次数のMarkov情報源からなるモデルである木情報源モデル(tree model)のについて考察を進めた．このモデルは，文脈木によって規定される情報源のモデルであり，木の形が特別な条件を満たしてモデルがFinite State Machine (FSM)となる場合に限り，データ数が増えるにつれ指数型分布族に近づく(漸近的指数型分布族)ことが分かっている(Takeuchi and Kawabata 2007)．このことは，FSMでない木情報源モデルは曲指数型分布族に近づくことを意味する．このモデルについても，混合型分布族の場合と同様の手法によって，データ列に関する制約なしにSCが達成できることを証明した(Takeuchi and Barron 2014)．この結果は，FSMモデル(漸近的に指数型)について知られている命題(Takeuchi et. al 2013)の拡張でもある．
スパース重ね合わせ符号に関しては，圧縮センシングとの関連について考察を進め，Bayes最適Approximate Message Passing (AMP)を用いると，Barronらによる従来の復号法よりも高い伝送速度のもとで復号が可能であることを実験的に示した．
|
-
-
-
-
-
-
[Presentation] MDL原理入門2014
Author(s)
竹内純一
Organizer
第37回情報理論とその応用シンポジウム
Place of Presentation
富山県黒部市
Year and Date
2014-12-10 – 2014-12-12
Invited
-
-
-
-
-
-
-
-
