• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2015 年度 実施状況報告書

最適潜在分布を用いた学習推論モデルの設計原理

研究課題

研究課題/領域番号 15K16050
研究機関豊橋技術科学大学

研究代表者

渡辺 一帆  豊橋技術科学大学, 大学院工学研究科, 講師 (10506744)

研究期間 (年度) 2015-04-01 – 2019-03-31
キーワードレート歪み関数 / イプシロン不感応損失 / カーネル関数 / 漸近的ミニマックス性 / ディリクレ過程平均法
研究実績の概要

レート歪み関数は歪み有りデータ圧縮における歪みと圧縮率の間の最適なトレードオフ関係を示す。外れ値に対する頑健性のために用いられるイプシロン不感応損失関数についてレート歪み関数の下界および上界評価を与えた。実際の量子化法の性能と比較を行った結果と合わせて英文誌上にて発表した。また、柔軟に損失関数を設計できるカーネル関数を用いた歪み尺度のレート歪み関数の上下界を与え、国際学会での発表を行った。
最も代表的なクラスタリング手法のK平均法の拡張であり、クラスタ数を柔軟に推定するディリクレ過程(DP)平均法の制御パラメータに関する推定クラスタ数の変化について考察した。DP平均法のクラスタ数の変化は最大歪みによるレート歪み関数と捉えられることを示し、カウントデータのモデルとして用いられる二項分布の場合に数値実験による検証を行い、学会発表を行った。
また、逐次的に与えられるデータに対し適応的に予測を変化させていく枠組みであるオンライン学習について、データセットの出方についての損失の最悪値によって評価される精度の最適値を効率よく近似する漸近的ミニマックス性の達成条件を考察した。離散データの生成モデルである多項モデルにおいては、漸近的ミニマックス性を達成するためにはデータ数の知識が必要であることを示し、データ数に対する単純な依存性を持つ共役事前分布を用いたベイズ予測により、漸近的ミニマックス性が達成できることを示し、論文誌上で発表した。

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

イプシロン不感応損失に関するレート歪み関数の評価を与え、多様な歪み尺度を構成することができ、機械学習分野で広く用いられるカーネル関数を用いた歪み尺度についてレート歪み関数の評価を与えることができた。漸近的ミニマックス性は正規化最尤符号を簡単な計算法で近似するための基礎となる。その達成条件の明確化に成功している。

今後の研究の推進方策

二乗損失においてレート歪み関数の達成が証明されている方法の、他の損失関数の場合への改良を検討し、イプシロン不感応損失やカーネル関数による損失関数においてレート歪み関数に近づく圧縮法を構築する。また、ベイズ推論によるMDL原理の厳密かつ効率的な実現のための条件と計算アルゴリズムを導出するために、共同研究者との議論を行う。

次年度使用額が生じた理由

他の研究費により参加した国際ワークショップにて共同研究者と打ち合わせをすることができ、それぞれの研究機関で個別に進行できる部分を優先するのが妥当と思われたため、当初予定していた海外研究機関への訪問をとりやめ、未使用額が生じた。

次年度使用額の使用計画

次年度以降に請求する研究費と合わせ、国際学会への参加回数を増やす、もしくは研究打ち合わせのための滞在期間を延ばすことにより、共同研究者との議論の場を十分に確保することを計画している。

  • 研究成果

    (12件)

すべて 2016 2015 その他

すべて 国際共同研究 (1件) 雑誌論文 (6件) (うち国際共著 1件、 査読あり 6件、 オープンアクセス 3件、 謝辞記載あり 3件) 学会発表 (4件) (うち国際学会 1件、 招待講演 1件) 備考 (1件)

  • [国際共同研究] ヘルシンキ大学(フィンランド)

    • 国名
      フィンランド
    • 外国機関名
      ヘルシンキ大学
  • [雑誌論文] Rate-Distortion Bounds for Epsilon-Insensitive Distortion Measures2016

    • 著者名/発表者名
      Kazuho Watanabe
    • 雑誌名

      IEICE Transactions on Fundamentals

      巻: E99-A ページ: 370-377

    • DOI

      10.1587/transfun.E99.A.370

    • 査読あり / 謝辞記載あり
  • [雑誌論文] Data-driven approach to Type Ia supernovae: variable selection on the peak luminosity and clustering in visual analytics2016

    • 著者名/発表者名
      Makoto Uemura, Koji S. Kawabata, Shiro Ikeda, Keiichi Maeda, Hsiang-Yun Wu, Kazuho Watanabe, Shigeo Takahashi, Issei Fujishiro
    • 雑誌名

      Journal of Physics: Conference Series

      巻: 699 ページ: 012009

    • DOI

      10.1088/1742-6596/699/1/012009

    • 査読あり / オープンアクセス
  • [雑誌論文] Asymmetric biclustering with constrained von Mises-Fisher models2016

    • 著者名/発表者名
      Kazuho Watanabe, Hsiang-Yun Wu, Shigeo Takahashi, Issei Fujishiro
    • 雑誌名

      Journal of Physics: Conference Series

      巻: 699 ページ: 012028

    • DOI

      10.1088/1742-6596/699/1/012018

    • 査読あり / オープンアクセス
  • [雑誌論文] スパースモデリングと情報可視化2016

    • 著者名/発表者名
      藤代一成,高橋成雄,渡辺一帆,Hsiang-Yun Wu
    • 雑誌名

      電子情報通信学会誌

      巻: 99 ページ: 466-470

    • 査読あり
  • [雑誌論文] Achievability of asymptotic minimax regret by horizon-dependent and horizon-independent strategies2015

    • 著者名/発表者名
      Kazuho Watanabe, Teemu Roos
    • 雑誌名

      Journal of Machine Learning Research (JMLR)

      巻: 16 ページ: 2357-2375

    • 査読あり / オープンアクセス / 国際共著 / 謝辞記載あり
  • [雑誌論文] グラフスペクトル解析を用いた平行座標系の軸縮約2015

    • 著者名/発表者名
      能野琴,Hsiang-Yun Wu,渡辺一帆,高橋成雄,藤代一成
    • 雑誌名

      画像電子学会誌

      巻: 44 ページ: 447-456

    • 査読あり / 謝辞記載あり
  • [学会発表] レート歪み理論によるディリクレ過程平均法の閾値パラメータ解釈2016

    • 著者名/発表者名
      小林真佐大,渡辺一帆
    • 学会等名
      電子情報通信学会総合大会
    • 発表場所
      九州大学
    • 年月日
      2016-03-15 – 2016-03-18
  • [学会発表] MDLの効率的計算のための事前分布設定2016

    • 著者名/発表者名
      渡辺一帆
    • 学会等名
      電子情報通信学会総合大会
    • 発表場所
      九州大学
    • 年月日
      2016-03-15 – 2016-03-18
  • [学会発表] Rate-distortion bounds for distortion measures with kernel feature mapping2015

    • 著者名/発表者名
      渡辺一帆
    • 学会等名
      第38回情報理論とその応用シンポジウム
    • 発表場所
      岡山県倉敷市
    • 年月日
      2015-11-24 – 2015-11-27
  • [学会発表] Rate-distortion analysis for kernel-based distortion measures2015

    • 著者名/発表者名
      Kazuho Watanabe
    • 学会等名
      Workshop on Information Theoretic Methods in Science and Engineering
    • 発表場所
      Copenhagen, Denmark
    • 年月日
      2015-06-24 – 2015-06-26
    • 国際学会 / 招待講演
  • [備考] 研究代表者ホームページ

    • URL

      http://www.lisl.cs.tut.ac.jp/wkazuho/index-j.html

URL: 

公開日: 2017-01-06  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi