2012 Fiscal Year Research-status Report
カーネル法を用いた学習アルゴリズムの情報論的解釈と発展
| Project/Area Number |
23700175
|
|---|
| Research Institution | Nara Institute of Science and Technology |
|---|
Principal Investigator |
渡辺 一帆 奈良先端科学技術大学院大学, 情報科学研究科, 助教 (10506744)
|
|---|
| Keywords | 混合モデル / レート歪み関数 / 再構成分布 / ガンマ分布 / 漸近的ミニマックス性 / 国際情報交換（フィンランド） |
|---|
| Research Abstract |
混合モデルはクラスタリングや確率密度推定に用いられる学習モデルである。混合モデルの既存の学習法である凸クラスタリング法やカーネルベクトル量子化を含む統一的な学習法を提案し、その有効性を数値実験により検証した。この学習法がレート歪み関数を求める最適化問題と捉えられることを示し、レート歪み関数と学習法の汎化性能の関係を数値的に考察した。さらにガンマ情報源と対数絶対損失による歪み尺度に対するレート歪み関数の評価を行った。一般にレート歪み関数の評価にはシャノンの導出した下界が重要な役割を果たすが、下界と等しくならない場合の厳密な評価はごく限られた例に対してのみ与えられていた。本研究では、対数絶対損失に対するレート歪み関数を求める問題が、その中の一例に帰着できることを示し、ガンマ情報源に対してレート歪み関数の厳密な評価を与えた。ガンマ分布は神経科学におけるスパイク間隔や音声信号処理におけるパワースペクトルなどの分布として広く用いられている。対数絶対損失による歪み有りデータ圧縮はラプラシアンカーネルを用いたベクトル量子化法に対応する。ガンマ情報源に対するレート歪み関数の導出過程から、量子化のための最適な再構成分布が離散成分と連続成分からなることが示された。
また、ユニバーサル符号化において符号長の損失分の最悪値を最小化する正規化最尤符号に関して、それを近似する漸近的ミニマックス性の達成条件を考察した。ヘルシンキ大学計算機科学部に短期滞在し情報交換を行い、多項モデルなどの学習モデルについて達成条件を示し、数値実験による検証を行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
混合モデルのノンパラメトリック学習法に対するレート歪み理論による解釈を与え、さらにレート歪み関数の厳密評価が可能となる例を与えた。漸近的ミニマックス性は正規化最尤符号を簡単な計算法で近似するための基礎となる。その達成条件の精緻化とそれに基づく学習モデルの選択法の構成について検討している。
|
| Strategy for Future Research Activity |
今後はより多様な歪み尺度についてレート歪み関数の評価を検討する。正規化最尤法の近似概念としての漸近的ミニマックス性の達成条件の精緻化を考察し計算機実験による検証を行う。特に正規化最尤法による学習アルゴリズムやモデル選択法について情報集収するため、引き続き国際ワークショップへの参加、及び、国外グループへの訪問を行う。
|
| Expenditure Plans for the Next FY Research Funding |
情報収集のための海外出張が日程を調整することにより当初予定よりも少ない研究費で遂行できたため、未使用額が生じた。次年度以降に請求する研究費と合わせ、今後も継続的に国外グループへの訪問を行うことを計画している。
|
