2021 Fiscal Year Research-status Report
Development of fast machine learning methods based on combinations of different computational models
| Project/Area Number |
20K11882
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
田中 剛平 東京大学, ニューロインテリジェンス国際研究機構, 特任准教授 (90444075)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | 機械学習 / 時系列データ / リザバー計算 / 高速学習 |
|---|
| Outline of Annual Research Achievements |
前年度に引き続き、深層学習モデルに比べて高速学習を可能とするリザバー計算モデルを核として、異種の計算モデルと融合したり、効果的な前処理・後処理を追加したりすることにより、高速機械学習モデルの開発を目指している。具体的には、以下のような計算モデルや学習手法の研究を行った。
(1) マルチステップ学習エコーステートネットワークの研究においては、複数のリザバーを連結して学習を段階的に行う手法を提案し、非線形時系列予測タスクに適用した。提案モデルは、モデルサイズが同一であれば、従来の単一リザバー計算モデルと比較して、高い計算性能を与えうることを数値実験により示した。単一リザバー計算モデルではリザバーの大規模化にともない性能の飽和が生じるが、提案手法ではこれを回避できる。また、モデルサイズが同一であれば、単一リザバー計算モデルと比較して、少ない時間計算量で効率的に学習できることを理論的および数値実験的に明らかにした。
(2) データリサンプリングをともなうマルチリザバー計算モデルの研究においては、入力やリザバー状態の時系列を異なる間隔でリサンプリングすることにより、多様な特徴量を抽出する仕組みを考えた。これを様々な構造をもつマルチリザバー計算モデルと組合わせたところ、そのうちいくつかのモデルは、最先端のマルチリザバー計算モデルと比較して、時系列予測性能または学習速度の面で優れていることを明らかにした。
(3) リザバー計算モデルの発展的オンライン学習法の研究においては、転移学習からヒントを得て、事前に多様なパターンを含むデータでモデルの学習を行っておくことで、メインの学習段階では計算量を大幅に短縮できることを示した。この手法は、リザバー計算ハードウェアの学習効率化に資すると考えられる。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
高速学習機械学習モデルの核となるリザバー計算モデルに関して、発展的な手法を複数提案し、従来モデルよりも計算効率を高めることができたため。
|
| Strategy for Future Research Activity |
これまでに開発した発展的なリザバー計算モデルを、他の計算モデルと組合わせて、さらなる学習効率の向上を目指す。
|
| Causes of Carryover |
本年度に複数の学会発表を計画していたが、コロナ禍でバーチャルでの開催となり、旅費の予定通りの執行が困難だったため。次年度の学会発表のための旅費として使用する計画であるが、バーチャル開催が続くようであれば、論文出版費に充てる。
|
Research Products
(14 results)
