| 研究課題/領域番号 |
24500018
|
|---|
| 研究機関 | 九州大学 |
|---|
研究代表者 |
竹内 純一 九州大学, システム情報科学研究科(研究院, 教授 (80432871)
|
|---|
| キーワード | MDL原理 / 確率的コンプレキシティ / Bayes符号 / 局所指数族バンドル / ガウス通信路 / スパース重ね合わせ符号 / 混合型分布族 |
|---|
| 研究概要 |
機械学習における指導的原理の一つである記述長最小原理(MDL原理)について，確率的コンプレキシティ(SC)の評価と，SCを達成する最適な確率的予測法(minimax予測)の研究を行っている．平成24年度には，通信路容量を達成する誤り訂正符号の一つであるスパース重ね合わせ符号(Barronら，2011-)の研究を開始した．これは圧縮センシング，スパース学習，同時検定など，機械学習とも関連付けられる．
平成25年度においては，一般の正則モデルに関するminimax予測法の解析を進めた．これはJeffreys事前分布によるBayes混合を基本とし，正則モデルの局所指数族バンドル上のBayes混合との混合を用いる手法である．特に，仮定として用いる正則条件に関する考察を進め，見通しの良い形で整備した．その結果，一般の混合型分布族が正則条件を満たすことを明らかにした．さらに，混合型分布族の場合，対象となるデータ系列に関する制限を設けなくとも，minimax予測法を構成できることを証明した．これまで知られているBayes混合によるminimax予測法では，Bernoulliモデルなどの一部の対象モデル以外の場合は，最尤推定値が分布族の境界付近に近づくデータを予測対象から除去する必要があった．本結果は，混合型分布族という重要なモデルにおいて，この制約が無い場合のminimax予測法を構成した重要な成果である．
スパース重ね合わせ符号はガウス通信路に関する符号であり，乱数を用いて構成する辞書行列とスパースベクトルの積により符号語を構成する．平成24年度には，主に最尤復号の場合を考察した．平成25年度は，効率的逐次復号アルゴリズム(Joseph and Barron 2010)と，Bayes型効率復号アルゴリズム(Cho and Barron 2012)を実装し，復号性能の評価を行った．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
1: 当初の計画以上に進展している
理由
一般の混合型分布族において，データ系列に何の制約も置かない場合に，Jeffreys事前分布と局所指数族バンドルを用いて確率的コンプレキシティを達成する予測法を構成した．このことは，MDL原理の基礎的研究において，重要な意味を持つと同時に，抽象性の高い概念である局所指数族バンドルを応用することで，具体的な問題を解決できたという点でも重要な結果であると考えている．
|
| 今後の研究の推進方策 |
1. 確率的コンプレキシティについて：混合型分布族は，固定した複数の要素(確率分布)の混合である．ここに，各要素もある分布族の元であると仮定すると，典型的な特異モデルが構成される．例えば，複数の正規分布族の混合からなる，混合ガウス分布がこれに該当する．昨年度得た成果は，このような特異モデルの解析に繋がる可能性がある．特異モデルに関しては，既に渡辺らによる代数幾何学を用いた解析が多くの成果をもたらしているが，まだ分かっていないことも多い．今後は，昨年度の成果を手がかりにそのような問題に取り組んでいく．
2. スパース重ねあわせ符号：昨年度から引き続き，効率的復号アルゴリズムついての考察を進める．
3. 多項Bernoulliモデルの最尤符号アルゴリズムの探求：昨年度から引き続き，最尤符号を用いた予測確率の効率的計算アルゴリズムについて考察する．
|
| 次年度の研究費の使用計画 |
成果発表および同行調査のための出張旅費に対して，テーマが近い他の研究費などを充てることで節約に努めたため．
今年度，研究成果発表のため，2014 IEEE International Symposium on Information Theory (Hwaii, USA) および，2014 IEEE Information Theory Workshop (Tasmania, Australia)に参加する予定であり，このための出張旅費として使用する計画をたてている．
|
