• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2009 Fiscal Year Annual Research Report

情報量概念を基盤とした学習理論の展開

Research Project

Project/Area Number 19300051
Research InstitutionKyushu University

Principal Investigator

竹内 純一  Kyushu University, 大学院・システム情報科学研究院, 教授 (80432871)

Co-Investigator(Kenkyū-buntansha) 香田 徹  九州大学, システム情報科学研究院, 教授 (20038102)
高橋 規一  九州大学, システム情報科学研究院, 准教授 (60284551)
實松 豊  九州大学, システム情報科学研究院, 准教授 (60336063)
川端 勉  電気通信大学, 電気通信学部, 教授 (50152997)
川喜田 雅則  九州大学, システム情報科学研究院, 助教 (90435496)
Keywords学習理論 / 機械学習 / 情報量 / 情報幾何 / 確率的コンプレキシティ / ユニバーサル符号 / 密度比推定 / Boosting
Research Abstract

今年度の主な成果は以下の通りである.
1. 定常Markovモデルの情報幾何学
前年度までに,定常Markovモデルの確率的コンプレキシティ(SC)の定数項評価を目的に,期待値パラメータのFisher情報行列の行列式(体積要素の二乗)を求めた.そのために導入した,期待値パラメータのdenormalizationによる拡大モデルではFisher計量が退化することに着目し,その幾何学的構造を調べた.無記憶情報源の場合はこの現象は起こらず,非常に素直な構造をもつ.今年度,Markovモデルと無記憶モデルとの違いは本質的であり,素直な一般化のためには,新たな視点が必要であることが分かった.また,無記憶の場合には拡大モデルと元のモデルでは体積要素の見かけが同じであるが,その幾何学的解釈を与えた.
3. Bayes混合を用いない予測改善法
前年度までに,曲指数型分布族の最尤推定値から全指数型分布族における最尤推定値へのシフトの期待値は,Bayes予測へのシフトと正反対となることを見出していた.後者は漸近的に最良のシフトであることを利用し,前者のシフトを逆向きにすることで理想的シフトの近似とする手法を提案し,最尤推定値を改善できる場合があることを実験的に示した.
4. 半教師付き回帰における推定法の提案
半教師付き回帰問題において,密度比推定を用いた新たな推定法を提案し,実験的に性能を評価した.さらに,本手法とインホータンスサンプリングにおけるパラドックス効果との関連を指摘した.
5. ユニバーサル符号の解析
特異事前分布を用いたユニバーサル符号の符号長を解析し,従来得られていた符号長の上界を改善する事前分布を提案し理論的な保証を与えた.
6. 学習応用
一般物体認識,ネットワークセキュリティ,超解像などの課題に取り組んだ.一般物体認識では,線形カーネルを用いたSVMを探用し,多種の特徴ベクトルを単純に結合するという手法で,71.5%という比較的高い認識率を得た(CALTECH101).ネットワークセキュリティでは,glasso,ICA,NMFなどを用いた異常検知により,Botnetの存在を検知できる可能性を示した.

  • Research Products

    (15 results)

All 2010 2009

All Presentation (15 results)

  • [Presentation] ラベル無しデータを利用した回帰の改良2010

    • Author(s)
      川喜田雅則, 竹内純一
    • Organizer
      第12回データマイニングと統計数理研究会
    • Place of Presentation
      東京都立川市
    • Year and Date
      20100300
  • [Presentation] NMFを用いたボットネット検出の検討2010

    • Author(s)
      北川潤也, 川喜田雅則, 竹内純一, 吉岡克也, 井上大介, 衛藤将史, 中尾康二
    • Organizer
      2010年 暗号と情報セキュリティシンポジウム
    • Place of Presentation
      香川県高松市
    • Year and Date
      20100100
  • [Presentation] 特異事前分布をもつユニバーサル情報源符号の冗長度解析2010

    • Author(s)
      橋本, 川端
    • Organizer
      電子情報通信学会情報理論研究会
    • Place of Presentation
      長野県長野市
    • Year and Date
      20100000
  • [Presentation] β展開を用いたAD/DA変換の量子化誤差2010

    • Author(s)
      香田, 深江
    • Organizer
      電子情報通信学会情報理論研究会
    • Place of Presentation
      長野県長野市
    • Year and Date
      20100000
  • [Presentation] 最尤符号とベイズ符号2009

    • Author(s)
      竹内純一
    • Organizer
      研究集会「ベイズ統計への情報理論的アプローチとその周辺」,
    • Place of Presentation
      東京都文京区
    • Year and Date
      20091200
  • [Presentation] A new method of improving predictive distribution without Bayesestimation2009

    • Author(s)
      M.Kawakita, J.Takeuchi
    • Organizer
      第32回情報理論とその応用シンポジウム
    • Place of Presentation
      山口県山口市
    • Year and Date
      20091200
  • [Presentation] A Two-Phase Decomposition Algorithm for Solving Convex Quadratic Programming Problems2009

    • Author(s)
      Y.Kobayashi, N.Takahashi
    • Organizer
      Int. Sympo. on Nonlinear Theory and its Applications
    • Place of Presentation
      Sapporo, Hokkaido, Japan
    • Year and Date
      20091000
  • [Presentation] 定常Markovモデルの体積要素と拡大モデルについて2009

    • Author(s)
      竹内純一
    • Organizer
      第12回情報論的学習理論ワークショップ
    • Place of Presentation
      福岡県福岡市
    • Year and Date
      20091000
  • [Presentation] 統計多様体の体積要素について2009

    • Author(s)
      竹内純一
    • Organizer
      情報とダイナミクスIII研究集会
    • Place of Presentation
      福岡県
    • Year and Date
      20091000
  • [Presentation] ベイズ推定を用いない曲指数型分布族の推定量の改善2009

    • Author(s)
      川喜田雅則, 竹内純一
    • Organizer
      第12回情報論的学習理論ワークショップ
    • Place of Presentation
      福岡県福岡市
    • Year and Date
      20091000
  • [Presentation] スパース構造学習によるポットネット検出2009

    • Author(s)
      川喜田雅則, 村上慎太郎, 濱崎浩輝, 竹内純一, 吉岡克成, 井上大介, 衛藤将史, 中尾康二
    • Organizer
      2009年度統計関連学会連合大会
    • Place of Presentation
      京都府京田辺市
    • Year and Date
      20090900
  • [Presentation] On Volume Element of Markov Chain Models2009

    • Author(s)
      J.Takeuchi
    • Organizer
      第7回シャノン理論ワークショップ
    • Place of Presentation
      愛媛県松山市
    • Year and Date
      20090900
  • [Presentation] Fisher Information Determinant and Stochastic Complexity for Markov Models2009

    • Author(s)
      J.Takeuchi
    • Organizer
      2009 IEEE Int. Sympo. on Information Theory,
    • Place of Presentation
      韓国ソウル市
    • Year and Date
      20090600
  • [Presentation] マルコフ連鎖の幾何と確率的コンプレキシティ2009

    • Author(s)
      竹内純一
    • Organizer
      [DKX・SMI研究集会]logPの情報学
    • Place of Presentation
      福岡県福岡市
    • Year and Date
      20090600
  • [Presentation] 確率的依存関係に基づくボットネット検知の検討2009

    • Author(s)
      村上慎太郎, 濱崎浩輝, 川喜田雅則, 竹内純一, 吉岡克成, 井上大介, 衛藤将史, 中尾康二
    • Organizer
      電子情報通信学会インターネットアーキテクチャ研究会
    • Place of Presentation
      東京都港区
    • Year and Date
      20090600

URL: 

Published: 2011-06-16   Modified: 2016-04-21  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi