• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2010 Fiscal Year Annual Research Report

情報量概念を基盤とした学習理論の展開

Research Project

Project/Area Number 19300051
Research InstitutionKyushu University

Principal Investigator

竹内 純一  九州大学, 大学院・システム情報科学研究院, 教授 (80432871)

Co-Investigator(Kenkyū-buntansha) 高橋 規一  九州大学, 大学院・システム情報科学研究院, 准教授 (60284551)
實松 豊  九州大学, 大学院・システム情報科学研究院, 准教授 (60336063)
川端 勉  電気通信大学, 電気通信学部, 教授 (50152997)
川喜田 雅則  九州大学, 大学院・システム情報科学研究院, 助教 (90435496)
Keywords学習理論 / 確率的コンプレキシティ / ユニバーサルポートフォリオ / 超解像 / 通信路容量 / Bregmanダイバージェンス / 機械学習 / データ圧縮
Research Abstract

確率的コンプレキシティ(SC)に関する研究の一貫として、Bayes混合によるminimaxデータ圧縮ナルゴリズム、超解像、Bregmanダイバージェンスによる幾何学などについて考察した。主な内容は以下の通りである。
1.ユニバーサルポートフォリオとデータ圧縮
Coverのユニバーサルポートフォリオは、情報理論の考え方を株の分散投資(ポートフォリオ)に応用して提案した枠組みであり、特にデータ圧縮と類似の構造を持ち、SCと密接な関連があると考えられてきた。しかし両者の関係は十分には理解されていなかった。ここではポートフォリオの効用関数を確率密度関数として定義しなおし、データ圧縮の枠組みでポートフォリオを議論した。結果として、SCとポートフォリオのminimax戦略の完全な理解を得た。
2.SCと通信路容量の関係に関する考察
パラメトリックな確率モデルは、パラメータを入力とし確率変数を出力とする通信路とみなせる。この通信路の容量は、確率モデルに関する期待値版SCと密接に関連する。今期はこの関連を主に情報幾何の観点から考察した。特に、この関係はKLダイバージェンスをBregmanダイバージェンスに置き換えても同様に成り立つことを指摘した。また、離散通信路の容量を計算する室賀アルゴリズムを拡張し、期待値版SCの上界を示した。
3.超解像に関する考察
超解像は、劣化した観測画像から元の画像を推定する問題として定式化できる。大きくは、訓練画像を用いて推定法を学習する方式と、画像が劣化する過程を条件付き確率分布としてモデル化して推定する手法の二つに分けられる。一般に前者は単一の、後者は複数の観測画像に基づいて推定を行うものである。今期は両者の研究を平行して進めた。前者については、compressed sensingを応用した手法とテンソル代数を応用した手法を比較し、精度を改善した。後者については、Bayesの定理を用いるBayes超解像について、計算量的ボトルネックである位置ずれの推定を効率的に行う超解像アルゴリズムを提案した。

  • Research Products

    (17 results)

All 2011 2010

All Journal Article (2 results) (of which Peer Reviewed: 2 results) Presentation (15 results)

  • [Journal Article] Stochastic complexity, channel capacity, and universal portfolio2010

    • Author(s)
      Jun'ichi Takeuchi
    • Journal Title

      Journal of Math-for-Industry

      Volume: 2 Pages: 213-225

    • Peer Reviewed
  • [Journal Article] Sufficient Conditions for One-Dimensional Cellular Neural Networks to Perform Connected Component Detection2010

    • Author(s)
      Norikazu Takahashi, Ken Ishitobi, Tetsuo Nishi
    • Journal Title

      Nonlinear Analysis : Real World Applications

      Volume: 11 Pages: 4202-4213

    • Peer Reviewed
  • [Presentation] ベイズ超解像におけるSIFTを用いたパラメタ推定手法の提案2011

    • Author(s)
      清田、奥村、川喜田、高橋、竹内
    • Organizer
      電子情報通信学会技術研究報告 IE2010-168
    • Place of Presentation
      長崎県
    • Year and Date
      20110000
  • [Presentation] Universal portfolio and universal source coding2011

    • Author(s)
      Jun'ichi Takeuchi, Mariko Tsurusaki
    • Organizer
      統計数理研究所・研究集会「エルゴード理論、情報理論、計算機科学とその周辺」
    • Place of Presentation
      東京都立川市
    • Year and Date
      2011-03-05
  • [Presentation] The asymptotic redundancy of lossless source coding with the self-similarprior distribution2011

    • Author(s)
      久富彰人, 川端勉
    • Organizer
      統計数理研究所・研究集会「エルゴード理論、情報理論、計算機科学とその周辺」
    • Place of Presentation
      東京都立川市
    • Year and Date
      2011-03-05
  • [Presentation] γダイバージェンスに基づく異常検知手法の提案とシステムコール発行履歴への適用2011

    • Author(s)
      村上慎太郎、川喜田雅則、竹内純一
    • Organizer
      電子情報通信学会技術研究報告 ISEC2010-72
    • Place of Presentation
      大阪府
    • Year and Date
      2011-03-03
  • [Presentation] スパース構造学習を用いたボットネット検知法の提案とダークネットデータへの適用2011

    • Author(s)
      濱崎浩輝、川喜田雅則、竹内純一、井上大介、衛藤将史、中尾康二
    • Organizer
      2011年暗号と情報セキュリティシンポジウム
    • Place of Presentation
      福岡県北九州市
    • Year and Date
      2011-01-25
  • [Presentation] Semi-supervised learning in view of estimating functions2010

    • Author(s)
      川喜田, 竹内
    • Organizer
      Information Geometry And Its Applications III
    • Place of Presentation
      Leipzig, Germany
    • Year and Date
      20100000
  • [Presentation] 半教師付き回帰のためのモデル選択2010

    • Author(s)
      川喜田雅則
    • Organizer
      東北学院大学 多賀城情報幾何学研究集会「情報幾何学と統計多様体上の一般化共形構造の周辺」
    • Place of Presentation
      宮城県多賀城市
    • Year and Date
      2010-12-17
  • [Presentation] ブースティングに関する最近の進展について2010

    • Author(s)
      川喜田雅則、竹内純一
    • Organizer
      第33回情報理論とその応用シンポジウム
    • Place of Presentation
      長野県長野市
    • Year and Date
      2010-11-30
  • [Presentation] 通信路容量に関する情報幾何学的考察2010

    • Author(s)
      竹内純一、池田思朗
    • Organizer
      第33回情報理論とその応用シンポジウム
    • Place of Presentation
      長野県長野市
    • Year and Date
      2010-11-30
  • [Presentation] ポートフォリオのFishe情報量について2010

    • Author(s)
      鶴崎真理子、竹内純一
    • Organizer
      第33回情報理論とその応用シンポジウム
    • Place of Presentation
      長野県長野市
    • Year and Date
      2010-11-30
  • [Presentation] 揺らぎのあるニューラルネットワークにおける連想記憶2010

    • Author(s)
      前島直斗、實松豊、香田徹
    • Organizer
      第33回情報理論とその応用シンポジウム
    • Place of Presentation
      長野県長野市
    • Year and Date
      2010-11-30
  • [Presentation] 大標本仮定を必要としない半教師付き回帰のモデル選択2010

    • Author(s)
      川喜田雅則、竹内純一
    • Organizer
      第13回情報論的学習理論ワークショップ
    • Place of Presentation
      東京都目黒区
    • Year and Date
      2010-11-04
  • [Presentation] A note on model selection for small sample regression2010

    • Author(s)
      Masanori Kawakita, Youko Oie, Junichi Takeuchi
    • Organizer
      International Symposium on Information Theory and its Applications 2010
    • Place of Presentation
      Taichung, Taiwan
    • Year and Date
      2010-10-17
  • [Presentation] A Revisit to The Muroga Method of Computing Channel Capacity2010

    • Author(s)
      Tsutomu Kawabata
    • Organizer
      International Symposium on Information Theory and its Applications 2010
    • Place of Presentation
      Taichung, Taiwan
    • Year and Date
      2010-10-17
  • [Presentation] Is Markov code superior to i.i.d.in communication systems?2010

    • Author(s)
      Tohru Kohda, Yutaka Jitsumatsu
    • Organizer
      International Symposium on Information Theory and its Applications 2010
    • Place of Presentation
      Taichung, Taiwan
    • Year and Date
      2010-10-17

URL: 

Published: 2012-07-19  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi