• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

最適潜在分布を用いた学習推論モデルの設計原理

研究課題

研究課題/領域番号 15K16050
研究種目

若手研究(B)

配分区分基金
研究分野 知能情報学
研究機関豊橋技術科学大学

研究代表者

渡辺 一帆  豊橋技術科学大学, 工学(系)研究科(研究院), 講師 (10506744)

研究期間 (年度) 2015-04-01 – 2019-03-31
研究課題ステータス 完了 (2018年度)
配分額 *注記
3,900千円 (直接経費: 3,000千円、間接経費: 900千円)
2018年度: 780千円 (直接経費: 600千円、間接経費: 180千円)
2017年度: 1,040千円 (直接経費: 800千円、間接経費: 240千円)
2016年度: 1,170千円 (直接経費: 900千円、間接経費: 270千円)
2015年度: 910千円 (直接経費: 700千円、間接経費: 210千円)
キーワードレート歪み関数 / 再構成分布 / イプシロン不感応損失 / ディリクレ過程平均法 / ミニマックス予測 / スパース回帰符号 / 経験ベイズ法 / 一般化事後分布 / 一般化ガウス情報源 / カーネル関数 / 漸近的ミニマックス性
研究成果の概要

機械学習においてその有用性が知られているイプシロン不感応損失やカーネル関数に基づく歪み尺度に対して、歪み有りデータ圧縮の限界を示すレート歪み関数の評価を与えた。また、データの潜在構造を抽出するためのクラスタリング手法やベイズ推論における事前分布の設計に関し、潜在変数分布の最適化としての解釈を与え、手法の拡張や近似法の開発および解析を行った。データ可視化に基づくデータ解析法のために潜在変数を持つ学習モデルを改良し、実データ解析での性能を調査した。

研究成果の学術的意義や社会的意義

レート歪み関数は歪み有りデータ圧縮の限界を示すため、イプシロン不感応損失やカーネル関数を用いた損失などの有用性が知られている歪み尺度において、圧縮法の性能評価や改良を与える際の基準が得られた。また、クラスタリング手法やベイズ推論における事前分布の設計において得られた拡張や近似法により、既存手法の個々の問題におけるより柔軟な適用や効率的な計算が可能になった。

報告書

(5件)
  • 2018 実績報告書   研究成果報告書 ( PDF )
  • 2017 実施状況報告書
  • 2016 実施状況報告書
  • 2015 実施状況報告書
  • 研究成果

    (51件)

すべて 2019 2018 2017 2016 2015 その他

すべて 国際共同研究 (2件) 雑誌論文 (16件) (うち国際共著 1件、 査読あり 16件、 オープンアクセス 9件、 謝辞記載あり 5件) 学会発表 (29件) (うち国際学会 9件、 招待講演 4件) 図書 (1件) 備考 (3件)

  • [国際共同研究] University of Helsinki(Finland)

    • 関連する報告書
      2016 実施状況報告書
  • [国際共同研究] ヘルシンキ大学(フィンランド)

    • 関連する報告書
      2015 実施状況報告書
  • [雑誌論文] Empirical Bayes Estimation for <i>L</i><sub>1</sub> Regularization: A Detailed Analysis in the One-Parameter Lasso Model2018

    • 著者名/発表者名
      Yoshida Tsukasa、Watanabe Kazuho
    • 雑誌名

      IEICE Transactions on Fundamentals of Electronics, Communications and Computer Sciences

      巻: E101.A 号: 12 ページ: 2184-2191

    • DOI

      10.1587/transfun.E101.A.2184

    • NAID

      130007539073

    • ISSN
      0916-8508, 1745-1337
    • 年月日
      2018-12-01
    • 関連する報告書
      2018 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] TimeTubes: Visual Exploration of Observed Blazar Datasets2018

    • 著者名/発表者名
      Fujishiro Issei、Sawada Naoko、Nakayama Masanori、Wu Hsiang-Yun、Watanabe Kazuho、Takahashi Shigeo、Uemura Makoto
    • 雑誌名

      Journal of Physics: Conference Series

      巻: 1036 ページ: 012011-012011

    • DOI

      10.1088/1742-6596/1036/1/012011

    • 関連する報告書
      2018 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Sparse Regression Code with Sparse Dictionary for Absolute Error Criterion2018

    • 著者名/発表者名
      Konabe Ryota、Watanabe Kazuho
    • 雑誌名

      Proc. of IEEE International Symposium on Information Theory (ISIT2018)

      巻: - ページ: 1515-1519

    • DOI

      10.1109/isit.2018.8437556

    • 関連する報告書
      2018 実績報告書
    • 査読あり
  • [雑誌論文] Automatic DNN Node Pruning Using Mixture Distribution-based Group Regularization2018

    • 著者名/発表者名
      Yoshida Tsukasa、Moriya Takafumi、Watanabe Kazuho、Shinohara Yusuke、Yamaguchi Yoshikazu、Aono Yushi
    • 雑誌名

      Proc. of Interspeech2018

      ページ: 1269-1273

    • DOI

      10.21437/interspeech.2018-2062

    • 関連する報告書
      2018 実績報告書
    • 査読あり
  • [雑誌論文] Generalized Dirichlet-Process-Means for Robust and Maximum Distortion Criteria2018

    • 著者名/発表者名
      Kobayashi Masahiro、Watanabe Kazuho
    • 雑誌名

      Proc. of International Symposium on Information Theory and its Applications (ISITA2018)

      ページ: 45-49

    • DOI

      10.23919/isita.2018.8664260

    • 関連する報告書
      2018 実績報告書
    • 査読あり
  • [雑誌論文] Projection to Mixture Families and Rate-Distortion Bounds with Power Distortion Measures2017

    • 著者名/発表者名
      Watanabe Kazuho
    • 雑誌名

      Entropy

      巻: 19 号: 6 ページ: 262-262

    • DOI

      10.3390/e19060262

    • 関連する報告書
      2017 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Rate-Distortion Bounds for Kernel-Based Distortion Measures2017

    • 著者名/発表者名
      Watanabe Kazuho
    • 雑誌名

      Entropy

      巻: 19 号: 7 ページ: 336-336

    • DOI

      10.3390/e19070336

    • 関連する報告書
      2017 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] ディリクレ過程平均法のレートひずみ理論による解釈2017

    • 著者名/発表者名
      小林真佐大,渡辺一帆
    • 雑誌名

      電子情報通信学会論文誌A

      巻: J100-A ページ: 475-486

    • NAID

      120006412529

    • 関連する報告書
      2017 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] TimeTubes: Visualization of Polarization Variations in Blazars2016

    • 著者名/発表者名
      Uemura M., Itoh R., Xu L., Nakayama M., Wu H., Watanabe K., Takahashi S., and Fujishiro I.
    • 雑誌名

      Galaxies

      巻: 4 号: 3 ページ: 23-23

    • DOI

      10.3390/galaxies4030023

    • 関連する報告書
      2016 実施状況報告書
    • 査読あり / オープンアクセス / 謝辞記載あり
  • [雑誌論文] Rate-distortion functions for gamma-type sources under absolute-log distortion measure2016

    • 著者名/発表者名
      Kazuho Watanabe, Shiro Ikeda
    • 雑誌名

      IEEE Transactions on Information Theory

      巻: 62 号: 10 ページ: 5496-5502

    • DOI

      10.1109/tit.2016.2602100

    • 関連する報告書
      2016 実施状況報告書
    • 査読あり / 謝辞記載あり
  • [雑誌論文] Rate-Distortion Bounds for <i>ε</i>-Insensitive Distortion Measures2016

    • 著者名/発表者名
      Kazuho Watanabe
    • 雑誌名

      IEICE Transactions on Fundamentals of Electronics, Communications and Computer Sciences

      巻: E99.A 号: 1 ページ: 370-377

    • DOI

      10.1587/transfun.E99.A.370

    • NAID

      130005115271

    • ISSN
      0916-8508, 1745-1337
    • 関連する報告書
      2015 実施状況報告書
    • 査読あり / 謝辞記載あり
  • [雑誌論文] Data-driven approach to Type Ia supernovae: variable selection on the peak luminosity and clustering in visual analytics2016

    • 著者名/発表者名
      Makoto Uemura, Koji S. Kawabata, Shiro Ikeda, Keiichi Maeda, Hsiang-Yun Wu, Kazuho Watanabe, Shigeo Takahashi, Issei Fujishiro
    • 雑誌名

      Journal of Physics: Conference Series

      巻: 699 ページ: 012009-012009

    • DOI

      10.1088/1742-6596/699/1/012009

    • 関連する報告書
      2015 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Asymmetric biclustering with constrained von Mises-Fisher models2016

    • 著者名/発表者名
      Kazuho Watanabe, Hsiang-Yun Wu, Shigeo Takahashi, Issei Fujishiro
    • 雑誌名

      Journal of Physics: Conference Series

      巻: 699 ページ: 012028-012028

    • DOI

      10.1088/1742-6596/699/1/012018

    • 関連する報告書
      2015 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] スパースモデリングと情報可視化2016

    • 著者名/発表者名
      藤代一成,高橋成雄,渡辺一帆,Hsiang-Yun Wu
    • 雑誌名

      電子情報通信学会誌

      巻: 99 ページ: 466-470

    • 関連する報告書
      2015 実施状況報告書
    • 査読あり
  • [雑誌論文] Achievability of asymptotic minimax regret by horizon-dependent and horizon-independent strategies2015

    • 著者名/発表者名
      Kazuho Watanabe, Teemu Roos
    • 雑誌名

      Journal of Machine Learning Research (JMLR)

      巻: 16 ページ: 2357-2375

    • 関連する報告書
      2015 実施状況報告書
    • 査読あり / オープンアクセス / 国際共著 / 謝辞記載あり
  • [雑誌論文] グラフスペクトル解析を用いた平行座標系の軸縮約2015

    • 著者名/発表者名
      能野琴,Hsiang-Yun Wu,渡辺一帆,高橋成雄,藤代一成
    • 雑誌名

      画像電子学会誌

      巻: 44 ページ: 447-456

    • NAID

      130005171479

    • 関連する報告書
      2015 実施状況報告書
    • 査読あり / 謝辞記載あり
  • [学会発表] レート歪み関数と最適再構成分布2019

    • 著者名/発表者名
      渡辺一帆
    • 学会等名
      電子情報通信学会総合大会
    • 関連する報告書
      2018 実績報告書
    • 招待講演
  • [学会発表] 混合分布に基づく正則化による DNN 音響モデルのサイズ削減2018

    • 著者名/発表者名
      森谷崇史,吉田司,渡辺一帆,篠原雄介,山口義和,青野裕司
    • 学会等名
      日本音響学会2018年秋季研究発表会
    • 関連する報告書
      2018 実績報告書
  • [学会発表] f平均によるディリクレ過程平均法の一般化と影響関数の解析2018

    • 著者名/発表者名
      小林真佐大,渡辺一帆
    • 学会等名
      第21回情報論的学習理論ワークショップ
    • 関連する報告書
      2018 実績報告書
  • [学会発表] ミニマックス戦略による変動ベルヌーイ過程のオンライン予測2018

    • 著者名/発表者名
      小永吉健太,渡辺一帆
    • 学会等名
      第21回情報論的学習理論ワークショップ
    • 関連する報告書
      2018 実績報告書
  • [学会発表] 3パラメータGroup Lassoモデルにおける経験ベイズ解の解析2018

    • 著者名/発表者名
      吉田司,渡辺一帆
    • 学会等名
      第21回情報論的学習理論ワークショップ
    • 関連する報告書
      2018 実績報告書
  • [学会発表] ディリクレ過程平均法のf分離可能ひずみ尺度への拡張とロバスト性の解析2018

    • 著者名/発表者名
      小林真佐大,渡辺一帆
    • 学会等名
      第41回情報理論とその応用シンポジウム
    • 関連する報告書
      2018 実績報告書
  • [学会発表] Sparse regression code with sparse dictionary for absolute error criterion2018

    • 著者名/発表者名
      Ryota Konabe, Kazuho Watanabe
    • 学会等名
      IEEE International Symposium on Information Theory
    • 関連する報告書
      2017 実施状況報告書
    • 国際学会
  • [学会発表] Rate-distortion tradeoffs under kernel-based distortion measures2017

    • 著者名/発表者名
      Kazuho Watanabe
    • 学会等名
      2017 IEEE International Symposium on Information Theory (ISIT2017)
    • 発表場所
      Aachen, Germany
    • 年月日
      2017-06-25
    • 関連する報告書
      2016 実施状況報告書
    • 国際学会
  • [学会発表] Making many-to-many parallel coordinate plots scalable by asymmetric biclustering2017

    • 著者名/発表者名
      Hsiang-Yun Wu, Yusuke Niibe, Kazuho Watanabe, Shigeo Takahashi, Makoto Uemura, and Issei Fujishiro
    • 学会等名
      10th IEEE Pacific Visualization Symposium (PacificVis 2017)
    • 発表場所
      Seoul, Korea
    • 年月日
      2017-04-18
    • 関連する報告書
      2016 実施状況報告書
    • 国際学会
  • [学会発表] 角転送行列を用いた格子状マルコフ確率場の厳密計算2017

    • 著者名/発表者名
      吉田智晴, 渡辺一帆, 梅村恭司
    • 学会等名
      電子情報通信学会情報論的学習理論と機械学習研究会
    • 発表場所
      東京都目黒区
    • 年月日
      2017-03-06
    • 関連する報告書
      2016 実施状況報告書
  • [学会発表] レート歪み理論と一般化事後分布2017

    • 著者名/発表者名
      渡辺一帆
    • 学会等名
      統計的モデリングと計算アルゴリズムの数理と展開
    • 発表場所
      愛知県名古屋市
    • 年月日
      2017-02-18
    • 関連する報告書
      2016 実施状況報告書
  • [学会発表] Making Many-to-Many Parallel Coordinate Plots Scalable by Asymmetric Biclustering2017

    • 著者名/発表者名
      Hsiang-Yun Wu, Yusuke Niibe, Kazuho Watanabe, Shigeo Takahashi, Makoto Uemura, Issei Fujishiro
    • 学会等名
      10th IEEE Pacific Visualization Symposium
    • 関連する報告書
      2017 実施状況報告書
    • 国際学会
  • [学会発表] Rate-distortion tradeoffs under kernel-based distortion measures2017

    • 著者名/発表者名
      Kazuho Watanabe
    • 学会等名
      IEEE International Symposium on Information Theory
    • 関連する報告書
      2017 実施状況報告書
    • 国際学会
  • [学会発表] Rate-distortion dimension and Bayesian learning coefficient2017

    • 著者名/発表者名
      Kazuho Watanabe
    • 学会等名
      Workshop on Information Theoretic Methods in Science and Engineering
    • 関連する報告書
      2017 実施状況報告書
    • 国際学会 / 招待講演
  • [学会発表] 角転送行列繰り込み群法を用いた格子状マルコフ確率場の計算手法の提案2017

    • 著者名/発表者名
      吉田智晴, 渡辺一帆, 梅村恭司
    • 学会等名
      電子情報通信学会情報論的学習理論と機械学習研究会
    • 関連する報告書
      2017 実施状況報告書
  • [学会発表] オンライン型t-SNEによる分布構造変化の抽出2017

    • 著者名/発表者名
      梶大介,小林真佐大,渡辺一帆
    • 学会等名
      電子情報通信学会情報論的学習理論と機械学習研究会
    • 関連する報告書
      2017 実施状況報告書
  • [学会発表] レート歪み理論に基づいた絶対誤差基準のためのスパース回帰符号2017

    • 著者名/発表者名
      小鍋涼太,渡辺一帆
    • 学会等名
      第40回情報理論とその応用シンポジウム
    • 関連する報告書
      2017 実施状況報告書
  • [学会発表] ディリクレ過程平均法の最大歪みを含む一般化尺度への拡張2017

    • 著者名/発表者名
      小林真佐大,渡辺一帆
    • 学会等名
      第40回情報理論とその応用シンポジウム
    • 関連する報告書
      2017 実施状況報告書
  • [学会発表] L1正則化における経験ベイズ推定解の解析2017

    • 著者名/発表者名
      吉田司,渡辺一帆
    • 学会等名
      第40回情報理論とその応用シンポジウム
    • 関連する報告書
      2017 実施状況報告書
  • [学会発表] スパースな辞書を用いたL1誤差基準のための有歪圧縮2016

    • 著者名/発表者名
      小鍋涼太,渡辺一帆
    • 学会等名
      第39回情報理論とその応用シンポジウム
    • 発表場所
      岐阜県高山市
    • 年月日
      2016-12-13
    • 関連する報告書
      2016 実施状況報告書
  • [学会発表] ディリクレ過程平均法における歪み尺度の一般化2016

    • 著者名/発表者名
      小林真佐大,渡辺一帆
    • 学会等名
      第39回情報理論とその応用シンポジウム
    • 発表場所
      岐阜県高山市
    • 年月日
      2016-12-13
    • 関連する報告書
      2016 実施状況報告書
  • [学会発表] 変分ベイズ法を用いたクラスタ構造変化の抽出2016

    • 著者名/発表者名
      梶大介,渡辺一帆
    • 学会等名
      情報論的学習理論ワークショップ
    • 発表場所
      京都府京都市
    • 年月日
      2016-11-16
    • 関連する報告書
      2016 実施状況報告書
  • [学会発表] 角転送行列繰り込み群法の格子状マルコフ確率場への適用2016

    • 著者名/発表者名
      吉田智晴, 渡辺一帆, 梅村恭司
    • 学会等名
      情報論的学習理論ワークショップ
    • 発表場所
      京都府京都市
    • 年月日
      2016-11-16
    • 関連する報告書
      2016 実施状況報告書
  • [学会発表] Rate-distortion theoretic views of learning problems2016

    • 著者名/発表者名
      Kazuho Watanabe
    • 学会等名
      2016 Workshop on Information Theoretic Methods in Science and Engineering
    • 発表場所
      Helsinki, Finland
    • 年月日
      2016-09-19
    • 関連する報告書
      2016 実施状況報告書
    • 国際学会 / 招待講演
  • [学会発表] Constant-width rate-distortion bounds for power distortion measures2016

    • 著者名/発表者名
      Kazuho Watanabe
    • 学会等名
      IEEE Information Theory Workshop (ITW2016)
    • 発表場所
      Cambridge, U.K.
    • 年月日
      2016-09-11
    • 関連する報告書
      2016 実施状況報告書
    • 国際学会
  • [学会発表] レート歪み理論によるディリクレ過程平均法の閾値パラメータ解釈2016

    • 著者名/発表者名
      小林真佐大,渡辺一帆
    • 学会等名
      電子情報通信学会総合大会
    • 発表場所
      九州大学
    • 年月日
      2016-03-15
    • 関連する報告書
      2015 実施状況報告書
  • [学会発表] MDLの効率的計算のための事前分布設定2016

    • 著者名/発表者名
      渡辺一帆
    • 学会等名
      電子情報通信学会総合大会
    • 発表場所
      九州大学
    • 年月日
      2016-03-15
    • 関連する報告書
      2015 実施状況報告書
  • [学会発表] Rate-distortion bounds for distortion measures with kernel feature mapping2015

    • 著者名/発表者名
      渡辺一帆
    • 学会等名
      第38回情報理論とその応用シンポジウム
    • 発表場所
      岡山県倉敷市
    • 年月日
      2015-11-24
    • 関連する報告書
      2015 実施状況報告書
  • [学会発表] Rate-distortion analysis for kernel-based distortion measures2015

    • 著者名/発表者名
      Kazuho Watanabe
    • 学会等名
      Workshop on Information Theoretic Methods in Science and Engineering
    • 発表場所
      Copenhagen, Denmark
    • 年月日
      2015-06-24
    • 関連する報告書
      2015 実施状況報告書
    • 国際学会 / 招待講演
  • [図書] Variational Bayesian Learning Theory2019

    • 著者名/発表者名
      Shinichi Nakajima, Kazuho Watanabe, Masashi Sugiyama
    • 総ページ数
      560
    • 出版者
      Cambridge University Press
    • ISBN
      1107076153
    • 関連する報告書
      2018 実績報告書
  • [備考] 豊橋技術科学大学情報・知能工学系学習推論システム研究室

    • URL

      http://www.lisl.cs.tut.ac.jp/

    • 関連する報告書
      2018 実績報告書 2017 実施状況報告書
  • [備考] 学習推論システム研究室ホームページ

    • URL

      http://www.lisl.cs.tut.ac.jp/

    • 関連する報告書
      2016 実施状況報告書
  • [備考] 研究代表者ホームページ

    • URL

      http://www.lisl.cs.tut.ac.jp/wkazuho/index-j.html

    • 関連する報告書
      2015 実施状況報告書

URL: 

公開日: 2015-04-16   更新日: 2020-03-30  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi