• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2020 Fiscal Year Annual Research Report

Probabilistic model-based time-series forecasting neural networks and related applications to biosignal forecasting

Research Project

Project/Area Number 17K12752
Research InstitutionKyushu University

Principal Investigator

早志 英朗  九州大学, システム情報科学研究院, 助教 (00790015)

Project Period (FY) 2017-04-01 – 2021-03-31
Keywordsニューラルネットワーク / 深層学習 / 時系列予測 / 確率モデル
Outline of Annual Research Achievements

本研究は,現在までの信号から将来の信号値および信号源の状態を予測・識別する時系列予測ニューラルネットワーク(NN)の開発を目的とする.そして,提案NNを生体信号予測・容態推定へ応用することで,予測に基づく医療モニタリングへの足掛かりとする.提案NNには,複雑な非線形性や個人差に対応するための工夫として,(1) 確率モデルに基づく設計,(2) 事後確率に基づく予測と識別,(3) Sparse Bayesian learning, (4) 大規模データを用いた学習を取り入れる.最終年度は,(1)から(4)全てに関連して研究を遂行し,特に(3)に関して大きな進展があった.
(1), (2) 確率モデルに基づくNNを構築し,時系列予測に応用した(Yamagata, Hayashi, Uchida, ICFHR2020等).入力時系列に対し,数時刻先の予測値を混合正規分布に基づきモデル化する.そして,予測分布のパラメータを出力するようにNNを学習させることにより,複数の可能性を考慮した予測波形を出力可能なモデルを提案した.また,識別と生成のハイブリッドモデルを提案し,協調的に学習させることで半教師有り学習に適用するとともにConfidence calibrationへ応用できることを示した(早志・内田,MIRU2020).
(3), (4) 混合正規分布に基づくNNとSparse Bayesian learningを組み合わせることにより,多峰性とスパース性を兼ね備えた識別器を提案した.また,提案モデルを深層NNを組み合わせることにより,大規模データの識別に応用した.本研究成果は,機械学習のトップ会議であるICLRへ採択された(Hayashi and Uchida, ICLR2021).

  • Research Products

    (11 results)

All 2021 2020 Other

All Int'l Joint Research (1 results) Presentation (10 results) (of which Int'l Joint Research: 4 results)

  • [Int'l Joint Research] University of Cambridge(英国)

    • Country Name
      UNITED KINGDOM
    • Counterpart Institution
      University of Cambridge
  • [Presentation] Layer-Wise Interpretation of Deep Neural Networks Using Identity Initialization2021

    • Author(s)
      Shohei Kubota, Hideaki Hayashi, Tomohiro Hayase, Seiichi Uchida
    • Organizer
      International Conference on Acoustics, Speech, and Signal Processing (ICASSP 2021)
    • Int'l Joint Research
  • [Presentation] A Discriminative Gaussian Mixture Model with Sparsity2021

    • Author(s)
      Hideaki Hayashi and Seiichi Uchida
    • Organizer
      International Conference on Learning Representations (ICLR 2021)
    • Int'l Joint Research
  • [Presentation] Regularized Pooling2020

    • Author(s)
      Takato Otsuzuki, Hideaki Hayashi, Yuchen Zheng, Seiichi Uchida
    • Organizer
      International Conference on Artificial Neural Networks (ICANN 2020)
    • Int'l Joint Research
  • [Presentation] Handwriting Prediction Considering Inter-Class Bifurcation Structures2020

    • Author(s)
      Masaki Yamagata, Hideaki Hayashi, and Seiichi Uchida
    • Organizer
      International Conference on Frontiers of Handwriting Recognition (ICFHR 2020)
    • Int'l Joint Research
  • [Presentation] 深層パーセプトロンの単位初期化に基づく中間層の貢献度と尤度の解析2020

    • Author(s)
      久保田祥平,早志英朗,早瀬友裕,内田誠一
    • Organizer
      電子情報通信学会技術研究報告
  • [Presentation] 正則化プーリング2020

    • Author(s)
      緒續隆人,早志英朗,Zheng Yuchen,内田誠一
    • Organizer
      電子情報通信学会技術研究報告
  • [Presentation] クラスの存在を利用した時系列予測とその手書きパターンへの応用2020

    • Author(s)
      山縣将貴,早志英朗,内田誠一
    • Organizer
      電子情報通信学会技術研究報告
  • [Presentation] 識別・生成のハイブリッドモデルと弱教師あり学習への応用2020

    • Author(s)
      早志英朗,内田誠一
    • Organizer
      画像の認識・理解シンポジウム (MIRU)
  • [Presentation] 単位初期化による深層パーセプトロン学習:ヤコビ行列を用いた誤差逆伝播に関する考察2020

    • Author(s)
      久保田祥平,早志英朗,早瀬友裕,内田誠一
    • Organizer
      画像の認識・理解シンポジウム (MIRU)
  • [Presentation] Class-Guided Handwriting Prediction with Uncertainty2020

    • Author(s)
      Masaki Yamagata, Hideaki Hayashi, Seiichi Uchida
    • Organizer
      画像の認識・理解シンポジウム (MIRU)

URL: 

Published: 2021-12-27  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi