• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2019 年度 実績報告書

一般ダイバージェンスに基づく経験推定を用いた機械学習法

研究課題

研究課題/領域番号 19J11776
研究機関豊橋技術科学大学

研究代表者

小林 真佐大  豊橋技術科学大学, 工学(系)研究科(研究院), 特別研究員(DC2)

研究期間 (年度) 2019-04-25 – 2021-03-31
キーワードf分離可能歪み尺度 / ディリクレ過程平均法 / 影響関数 / 推定方程式の不偏性 / 非負値行列分解 / ブレグマンダイバージェンス / 板倉斎藤距離
研究実績の概要

情報理論の分野で提案された歪み尺度であるf分離可能歪み尺度の最小化に基づくパラメータ推定法を考案し、機械学習アルゴリズムへの適用を行った。この方法は、単調増加関数fの選択に対応してデータ中の外れ値に対する推定への頑健性や最大歪み最小化を可能とする。
クラスタ数をデータから推定でき、かつ計算効率のよいディリクレ過程平均(DP-means)法に適用し、計算効率を保持したまま収束性を保証したアルゴリズムへと拡張を行った。また、ロバスト統計の分野で用いられる影響関数を詳細に調べ、外れ値に対する頑健性の評価を行った。このf分離可能歪み尺度によるDP-means法の拡張についての研究成果をまとめ英文誌上に投稿し、掲載が決定している。
一方で、f分離可能歪み尺度最小化に基づく推定法では、通常は解析的な計算が困難となるバイアス補正項を切り捨てているために推定結果にはバイアスが生じることが予想された。この観点から、推定結果に対してどの程度のバイアスが生じるかを調べた結果、歪み尺度に二乗距離もしくは板倉斎藤距離を利用したときにはバイアス補正項が消滅することを明らかにした。この成果について、情報理論・統計分野の国内、国際会議にて発表を行った。
また、大量データからの情報抽出法として知られる非負値行列分解(NMF)にf分離可能歪み尺度最小化に基づく推定法を適用し、計算効率のよい学習アルゴリズムを導出した。
企業との共同研究における時系列クラスタリング法のアルゴリズム開発を行い、その成果が国際会議に採択された。

現在までの達成度 (区分)
現在までの達成度 (区分)

1: 当初の計画以上に進展している

理由

当初の計画では、金融工学の分野で提案されたエントロピックリスク指標に対してなんらかの補正を加えることで実現困難な統計的ダイバージェンス最小化に基づく推定法の近似的実現を目指していた。このエントロピックリスク指標の単調変換は特定の関数fを選択したときのf分離可能歪み尺度に相当することが判明したため、計画を変更しf分離可能歪み尺度最小化に基づく推定法の研究を行った。一方で、当初の計画通りにDP-means法やNMFといった機械学習アルゴリズムへと適用し、アルゴリズムの構築に成功している。また、当初の計画では、近似が必要と考えられていた解析的な計算が困難となるバイアス補正項の計算が特定の歪み尺度のもとでは必要ないということがわかっている。

今後の研究の推進方策

f分離可能歪み尺度最小化に基づく機械学習法の構築および統計的性質の解明に焦点を当てて研究を進める。すでに構築を行ったNMFアルゴリズムを人工データおよび実データにより実験を行いその有効性を確認する。また回帰モデルへの適用を検討する。統計的性質については、すでに判明している二乗距離および板倉斎藤距離を一般化するブレグマンダイバージェンスの場合についても検討する。

  • 研究成果

    (5件)

すべて 2020 2019

すべて 雑誌論文 (1件) (うち査読あり 1件) 学会発表 (4件) (うち国際学会 2件)

  • [雑誌論文] Generalized Dirichlet-process-means for f-separable distortion measures2020

    • 著者名/発表者名
      Masahiro Kobayashi, Kazuho Watanabe
    • 雑誌名

      Neurocomputing

      巻: 未定 ページ: -

    • DOI

      -

    • 査読あり
  • [学会発表] Multi-Decoder RNN Autoencoder Based on Variational Bayes Method2020

    • 著者名/発表者名
      Daisuke Kaji, Kazuho Watanabe, Masahiro Kobayashi
    • 学会等名
      International Joint Conference on Neural Networks (IJCNN)
    • 国際学会
  • [学会発表] Unbiased Estimation Equation Under f-Separable Extension of Squared and Itakura-Saito Distances2019

    • 著者名/発表者名
      Masahiro Kobayashi, Kazuho Watanabe
    • 学会等名
      Data Science, Statistics & Visualisation (DSSV)
    • 国際学会
  • [学会発表] f分離可能ブレグマン歪み尺度に基づくロバストな非負値行列分解2019

    • 著者名/発表者名
      小林真佐大,渡辺一帆
    • 学会等名
      第42回情報理論とその応用シンポジウム
  • [学会発表] 小林真佐大,渡辺一帆2019

    • 著者名/発表者名
      f分離可能Bregman歪み尺度における推定方程式の不偏性と推定量の性質
    • 学会等名
      電子情報通信学会情報理論研究会

URL: 

公開日: 2021-01-27  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi