• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2021 年度 実施状況報告書

異種計算モデルの融合に基づく高速機械学習手法の発展

研究課題

研究課題/領域番号 20K11882
研究機関東京大学

研究代表者

田中 剛平  東京大学, ニューロインテリジェンス国際研究機構, 特任准教授 (90444075)

研究期間 (年度) 2020-04-01 – 2023-03-31
キーワード機械学習 / 時系列データ / リザバー計算 / 高速学習
研究実績の概要

前年度に引き続き、深層学習モデルに比べて高速学習を可能とするリザバー計算モデルを核として、異種の計算モデルと融合したり、効果的な前処理・後処理を追加したりすることにより、高速機械学習モデルの開発を目指している。具体的には、以下のような計算モデルや学習手法の研究を行った。
(1) マルチステップ学習エコーステートネットワークの研究においては、複数のリザバーを連結して学習を段階的に行う手法を提案し、非線形時系列予測タスクに適用した。提案モデルは、モデルサイズが同一であれば、従来の単一リザバー計算モデルと比較して、高い計算性能を与えうることを数値実験により示した。単一リザバー計算モデルではリザバーの大規模化にともない性能の飽和が生じるが、提案手法ではこれを回避できる。また、モデルサイズが同一であれば、単一リザバー計算モデルと比較して、少ない時間計算量で効率的に学習できることを理論的および数値実験的に明らかにした。
(2) データリサンプリングをともなうマルチリザバー計算モデルの研究においては、入力やリザバー状態の時系列を異なる間隔でリサンプリングすることにより、多様な特徴量を抽出する仕組みを考えた。これを様々な構造をもつマルチリザバー計算モデルと組合わせたところ、そのうちいくつかのモデルは、最先端のマルチリザバー計算モデルと比較して、時系列予測性能または学習速度の面で優れていることを明らかにした。
(3) リザバー計算モデルの発展的オンライン学習法の研究においては、転移学習からヒントを得て、事前に多様なパターンを含むデータでモデルの学習を行っておくことで、メインの学習段階では計算量を大幅に短縮できることを示した。この手法は、リザバー計算ハードウェアの学習効率化に資すると考えられる。

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

高速学習機械学習モデルの核となるリザバー計算モデルに関して、発展的な手法を複数提案し、従来モデルよりも計算効率を高めることができたため。

今後の研究の推進方策

これまでに開発した発展的なリザバー計算モデルを、他の計算モデルと組合わせて、さらなる学習効率の向上を目指す。

次年度使用額が生じた理由

本年度に複数の学会発表を計画していたが、コロナ禍でバーチャルでの開催となり、旅費の予定通りの執行が困難だったため。次年度の学会発表のための旅費として使用する計画であるが、バーチャル開催が続くようであれば、論文出版費に充てる。

  • 研究成果

    (14件)

すべて 2022 2021 その他

すべて 雑誌論文 (3件) (うち査読あり 3件、 オープンアクセス 3件) 学会発表 (10件) (うち国際学会 4件、 招待講演 5件) 備考 (1件)

  • [雑誌論文] Computational efficiency of multi-step learning echo state networks for nonlinear time series prediction2022

    • 著者名/発表者名
      Takanori Akiyama and Gouhei Tanaka
    • 雑誌名

      IEEE Access

      巻: 10 ページ: 28535-28544

    • DOI

      10.1109/ACCESS.2022.3158755

    • 査読あり / オープンアクセス
  • [雑誌論文] Multi-Reservoir Echo State Networks with Sequence Resampling for Nonlinear Time-Series Prediction2022

    • 著者名/発表者名
      Ziqiang Li and Gouhei Tanaka
    • 雑誌名

      Neurocomputing

      巻: 467 ページ: 115-129

    • DOI

      10.1016/j.neucom.2021.08.122

    • 査読あり / オープンアクセス
  • [雑誌論文] Transfer-RLS method and transfer-FORCE learning for simple and fast training of reservoir computing models2021

    • 著者名/発表者名
      Hiroto Tamura and Gouhei Tanaka
    • 雑誌名

      Neural Networks

      巻: 143 ページ: 550-563

    • DOI

      10.1016/j.neunet.2021.06.031

    • 査読あり / オープンアクセス
  • [学会発表] 教師なしパターン認識のためのスパイキングニューラルネットワークにおけるスパース結合の影響2022

    • 著者名/発表者名
      品川 大樹,藤原 寛太郎,田中 剛平
    • 学会等名
      電子情報通信学会 非線形問題研究会
  • [学会発表] リワードマシンを用いる強化学習手法の計算性能とタスク難易度の関係2022

    • 著者名/発表者名
      渡邊 隆二,田中 剛平
    • 学会等名
      電子情報通信学会 非線形問題研究会
  • [学会発表] リザバーコンピューティングの基礎と実装2022

    • 著者名/発表者名
      田中 剛平
    • 学会等名
      第45回光機能磁性材料・デバイス専門研究会
    • 招待講演
  • [学会発表] A Multi-Reservoir Echo State Network with Multiple-Size Input Time Slices for Nonlinear Time-Series Prediction2021

    • 著者名/発表者名
      Z. Li and G. Tanaka
    • 学会等名
      International Conference on Neural Information Processing
    • 国際学会
  • [学会発表] partial-FORCE: a fast and robust online training method for recurrent neural networks2021

    • 著者名/発表者名
      H. Tamura and G. Tanaka
    • 学会等名
      International Joint Conference on Neural Networks
    • 国際学会
  • [学会発表] Role of nonlinearity in memristive networks for reservoir computing2021

    • 著者名/発表者名
      G. Tanaka and R. Nakane
    • 学会等名
      Memrisys 2021
    • 国際学会
  • [学会発表] Physical reservoir computing with nanotechnology2021

    • 著者名/発表者名
      G. Tanaka
    • 学会等名
      IEEE International Nanodevices and Computing Conference
    • 国際学会 / 招待講演
  • [学会発表] リザバーコンピューティングの基礎と応用2021

    • 著者名/発表者名
      田中 剛平
    • 学会等名
      ネットワーク科学研究会2021
    • 招待講演
  • [学会発表] リザバーコンピューティングの多面的な魅力2021

    • 著者名/発表者名
      田中 剛平
    • 学会等名
      コンピューテーショナル・インテリジェンス・フォーラム2021
    • 招待講演
  • [学会発表] リザバーコンピューティングの概念と最近の動向2021

    • 著者名/発表者名
      田中 剛平
    • 学会等名
      電子情報通信学会 Webinarテクノロジートレンドシリーズ
    • 招待講演
  • [備考] http://eeip.t.u-tokyo.ac.jp/lab/publication.html

URL: 

公開日: 2022-12-28  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi