2011 Fiscal Year Research-status Report
カーネル法を用いた学習アルゴリズムの情報論的解釈と発展
| Project/Area Number |
23700175
|
|---|
| Research Institution | Nara Institute of Science and Technology |
|---|
Principal Investigator |
渡辺 一帆 奈良先端科学技術大学院大学, 情報科学研究科, 助教 (10506744)
|
|---|
| Project Period (FY) |
2011-04-28 – 2015-03-31
|
| Keywords | 混合モデル / ノンパラメトリック推定 / 離散分布 / クラスタリング |
|---|
| Research Abstract |
混合モデルはクラスタリングや確率密度推定に用いられる学習モデルである。混合モデルの既存の学習法である凸クラスタリング法やカーネルベクトル量子化を含む統一的な学習法を提案し、その有効性を数値実験により検証した。有限混合分布の学習においては混合数を適切に決めることが必要となるが、混合数自体もデータから推定するアプローチの一つとして、混合分布を構成する重み分布に連続分布を含む一般の分布を仮定したノンパラメトリック推定法がある。最尤推定を用いたこの枠組みでは、最適な重み分布が離散分布で与えられること、およびそのサポートの数が学習データ数以下になることが示されている。しかしながら、最尤推定の性質上、与えられたデータに過学習することが起こりやすい。 本研究では、最尤推定における対数尤度関数を一般化した目的関数を構成し、その最小化による推定法を提案した。この目的関数は一つのパラメータを持っており、パラメータが無限大の極限ではカーネルベクトル量子化法の目的関数に一致する。この統一的な目的関数について、離散分布の最適性を示し、それを求める学習アルゴリズムを構成した。また、レニーダイバージェンスやガンマダイバージェンスなどの確率分布間のダイバージェンスの最小化との関係を明らかにした。最尤推定からの偏りと推定の分散を考察し、平均汎化誤差の意味で最適なパラメータの学習データ数に関するオーダーを評価した。人工データを用いた数値実験により、パラメータを調整することで最尤推定の場合に比べて汎化誤差を改善できることが示された。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
上記の学習法について、真の分布のべき乗に比例する分布からのレニーダイバージェンス最小化という情報論的解釈を与えており、汎化誤差の定量的評価を学習データ数に関するオーダーにより与えている。この解釈を用いた学習法の最適設計や汎化誤差のより詳細な評価などが残されており、現在検討している。
|
| Strategy for Future Research Activity |
今後はダイバージェンス最小化と最大エントロピー原理やミニマックス符号長原理との関係について調査し、計算機実験による検証を行う。特に正規化最尤法などのミニマックス原理による学習アルゴリズムやモデル選択法について情報集収するため、国際ワークショップに参加し、国外グループへの訪問を行う。
|
| Expenditure Plans for the Next FY Research Funding |
海外出張の回数を平成24年度中に増やすことが必要な状況になったため、平成23年度の執行計画を見直し、研究費の一部を繰り越した。平成23年度の研究成果について国際会議での発表を行い、国外研究グループからの専門知識の供与を受けるため海外出張を行う。数値計算ソフトウェアを用い、計算機による実験を行う。
|
