• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2012 Fiscal Year Research-status Report

記述長最小原理の数理と学習理論

Research Project

Project/Area Number 24500018
Research Category

Grant-in-Aid for Scientific Research (C)

Research InstitutionKyushu University

Principal Investigator

竹内 純一  九州大学, システム情報科学研究科(研究院, 教授 (80432871)

Project Period (FY) 2012-04-01 – 2015-03-31
KeywordsMDL原理 / 確率的コンプレキシティ / Bayes符号 / 局所指数族バンドル / ポートフォリオ / ガウス通信路 / スパース重ね合わせ符号
Research Abstract

機械学習における指導的原理の一つである記述長最小原理(MDL原理)の基礎研究として,確率的コンプレキシティ(SC)の評価と,SCを達成するという意味で最適な確率的予測法(minimax予測)の研究を行っている.
平成24年度においては,一般の正則モデルに関するminimax予測法の解析を行った.これはJeffreys事前分布によるBayes混合を基本とし,正則モデルの局所指数族バンドル上のBayes混合との混合を用いる手法である.特に,符号長の精密な評価を行い,必要な正則条件に関する考察を進めた.
さらに,この手法をユニバーサルポートフォリオに適用する方法を考察した.ユニバーサルポートフォリオは混合型分布族に対応し,局所指数族バンドルが有効に働くケースとなる.平成24年度は正則化条件について調べたところ,一般には成り立たないことが明らかとなった.
当初計画にはなかった課題として,スパース重ね合わせ符号(Barronら,2011-)の研究を実施した.これはガウス通信路に関する符号であり,辞書行列とスパースベクトルの積により符号語を構成する.このとき,辞書行列をガウス分布に従うランダム行列とすると,圧縮センシングと同等の構造により,通信路容量を達成することが保証されいてる.ここに,復号問題はモデル選択と本質的に同じ問題となりMDL原理と関連する.この符号について,辞書をベルヌーイ分布から生成した場合を考察し,最適復号を行った場合に通信路容量を達成することを証明した.

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

研究の目的は,MDL原理の数理的構造の追求とその応用展開であり,今年度は一般の正則モデルとユニバーサルポートフォリオへの展開に関する課題の解決を目標としていた.前者は完全には解決していないものの,大きな進展をみた.後者については進展はあまりなかったが,その代わりに取り組んだスパース重ね合わせ符号の研究において,予想を上回る成果を得た.よって,全体としては概ね順調に進展していると評価できる.

Strategy for Future Research Activity

平成25年度は,一般の正則モデルに関する問題を解決し,ユニバーサルポートフォリオの効率的アルゴリズムに関する考察を進める.加えて,以下の研究を実施する.
1. スパース重ね合わせ符号の効率的復号:平成24年度には,ベルヌーイ分布に従う辞書を用いた場合に計算量を無視した復号法の研究を行った.一方,ガウス分布に従う辞書の場合,伝送速度は落ちるものの,効率的な復号法が知られている.ここではベルヌーイ分布の場合も同等の性能をもつアルゴリズムを設計することを目指す.また,そのアルゴリズムを一般の圧縮センシングに適用する方法について考察する.
2. 多項Bernoulliモデルの最尤符号アルゴリズムの探求:アルファベット数kの多項Bernoulliモデルの最尤符号の同時確率を,O(n+k)で計算するアルゴリズムが2006年に発見された(nはデータ系列の長さ).これを拡張し,予測やデータ圧縮に必要となる条件付き確率を計算する効率的アルゴリズムが得られるかいなかを考察する.

Expenditure Plans for the Next FY Research Funding

下記の予算を使用する(合計245万円).
旅費160万円,物品費60万円(PC2台),謝金20万円,その他5万円.

  • Research Products

    (7 results)

All 2013 2012 Other

All Journal Article (1 results) (of which Peer Reviewed: 1 results) Presentation (4 results) (of which Invited: 1 results) Remarks (2 results)

  • [Journal Article] Properties of Jeffreys Mixture for Markov Sources2013

    • Author(s)
      J. Takeuchi, T. Kawabata & A. R. Barron
    • Journal Title

      IEEE transactions on Information Theory

      Volume: 59 Pages: 438 - 457

    • DOI

      10.1109/TIT.2012.2219171

    • Peer Reviewed
  • [Presentation] Botnet Detection based on Non-negative Matrix Factorization and the MDL Principle2012

    • Author(s)
      S. Yamauchi, M. Kawakita, & J. Takeuchi
    • Organizer
      the 19th International Conference on Neural Information Processing
    • Place of Presentation
      Doha, Qatar
    • Year and Date
      20121112-20121115
  • [Presentation] High Dimensional Data Analysis for Botnet Detection2012

    • Author(s)
      J. Takeuchi
    • Organizer
      the 19th International Conference on Neural Information Processing
    • Place of Presentation
      Doha, Qatar
    • Year and Date
      20121112-20121115
    • Invited
  • [Presentation] Information Theoretic Limit of Single Frame Superresolution2012

    • Author(s)
      K. Yamaguchi, M. Kawakita, N. Takahashi, & J. Takeuchi
    • Organizer
      The Third International Conference on Emerging Security Technologies
    • Place of Presentation
      Lisbon, Portugal
    • Year and Date
      20120905-20120907
  • [Presentation] Constant Markov Portfolio and Its Application to Universal Portfolio with Side Information2012

    • Author(s)
      M. Tsurusaki & J. Takeuchi
    • Organizer
      2012 IEEE International Symposium on Information Theory
    • Place of Presentation
      Boston, USA
    • Year and Date
      20120701-20120706
  • [Remarks] Jun'ichi Takeuchi's Page

    • URL

      http://www-kairo.csce.kyushu-u.ac.jp/~tak/

  • [Remarks] 情報回路及び信号処理研究室

    • URL

      http://www-kairo.csce.kyushu-u.ac.jp/homepage.ja.html

URL: 

Published: 2014-07-24  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi