| 研究課題/領域番号 |
24500018
|
|---|
| 研究種目 |
基盤研究(C)
|
| 研究機関 | 九州大学 |
|---|
研究代表者 |
竹内 純一 九州大学, システム情報科学研究科(研究院, 教授 (80432871)
|
|---|
| 研究期間 (年度) |
2012-04-01 – 2015-03-31
|
| キーワード | MDL原理 / 確率的コンプレキシティ / Bayes符号 / 局所指数族バンドル / ポートフォリオ / ガウス通信路 / スパース重ね合わせ符号 |
|---|
| 研究概要 |
機械学習における指導的原理の一つである記述長最小原理(MDL原理)の基礎研究として，確率的コンプレキシティ(SC)の評価と，SCを達成するという意味で最適な確率的予測法(minimax予測)の研究を行っている．
平成24年度においては，一般の正則モデルに関するminimax予測法の解析を行った．これはJeffreys事前分布によるBayes混合を基本とし，正則モデルの局所指数族バンドル上のBayes混合との混合を用いる手法である．特に，符号長の精密な評価を行い，必要な正則条件に関する考察を進めた．
さらに，この手法をユニバーサルポートフォリオに適用する方法を考察した．ユニバーサルポートフォリオは混合型分布族に対応し，局所指数族バンドルが有効に働くケースとなる．平成24年度は正則化条件について調べたところ，一般には成り立たないことが明らかとなった．
当初計画にはなかった課題として，スパース重ね合わせ符号(Barronら，2011-)の研究を実施した．これはガウス通信路に関する符号であり，辞書行列とスパースベクトルの積により符号語を構成する．このとき，辞書行列をガウス分布に従うランダム行列とすると，圧縮センシングと同等の構造により，通信路容量を達成することが保証されいてる．ここに，復号問題はモデル選択と本質的に同じ問題となりMDL原理と関連する．この符号について，辞書をベルヌーイ分布から生成した場合を考察し，最適復号を行った場合に通信路容量を達成することを証明した．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
研究の目的は，MDL原理の数理的構造の追求とその応用展開であり，今年度は一般の正則モデルとユニバーサルポートフォリオへの展開に関する課題の解決を目標としていた．前者は完全には解決していないものの，大きな進展をみた．後者については進展はあまりなかったが，その代わりに取り組んだスパース重ね合わせ符号の研究において，予想を上回る成果を得た．よって，全体としては概ね順調に進展していると評価できる．
|
| 今後の研究の推進方策 |
平成25年度は，一般の正則モデルに関する問題を解決し，ユニバーサルポートフォリオの効率的アルゴリズムに関する考察を進める．加えて，以下の研究を実施する．
1. スパース重ね合わせ符号の効率的復号：平成24年度には，ベルヌーイ分布に従う辞書を用いた場合に計算量を無視した復号法の研究を行った．一方，ガウス分布に従う辞書の場合，伝送速度は落ちるものの，効率的な復号法が知られている．ここではベルヌーイ分布の場合も同等の性能をもつアルゴリズムを設計することを目指す．また，そのアルゴリズムを一般の圧縮センシングに適用する方法について考察する．
2. 多項Bernoulliモデルの最尤符号アルゴリズムの探求：アルファベット数kの多項Bernoulliモデルの最尤符号の同時確率を，O(n+k)で計算するアルゴリズムが2006年に発見された(nはデータ系列の長さ)．これを拡張し，予測やデータ圧縮に必要となる条件付き確率を計算する効率的アルゴリズムが得られるかいなかを考察する．
|
| 次年度の研究費の使用計画 |
下記の予算を使用する(合計245万円)．
旅費160万円，物品費60万円(PC2台)，謝金20万円，その他5万円．
|
