2021 Fiscal Year Annual Research Report
Model Averaging for Ultra-High Dimensional Data: Theory, Methods, and Applications
| Project/Area Number |
19K01582
|
|---|
| Research Institution | Otaru University of Commerce |
|---|
Principal Investigator |
劉 慶豊 小樽商科大学, 商学部, 教授 (60378958)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | モデル平均 / 超高次元データ / アンサンブル学習 / Machine Collaboration / 機械学習 |
|---|
| Outline of Annual Research Achievements |
ここまでの研究期間では、主として超高次元データ解析の精度を高めるためのモデル平均法を開発してきた。具体的には次元を削減するために、まずLASSOなどの高次元データ分析の方法で推定を行い、その推定結果である異なるチューニングパラメーターによるソルーションパスをモデル平均に利用する。そうすることで、超高次元データに伴う計算量の問題を解決しながら、推定のリスクをモデル平均法で小さく抑えることができた。また、モデル平均法の基礎理論として、モデル平均法の有限標本の性質とモデル平均の重みベクトルの過疎性に関して分析した。さらに、モデル平均法を非線形モデルとGARCH型モデルへ拡張して、新しいモデル平均法を開発した。最初の２年間で当初予定した研究内容をほぼ完成した。モデル平均に関する更なる知見とそれまでの研究成果の発展を求めて、最終年度でモデル平均法の考え方を機械学習の分野へ拡張して、アンサンブル学習の開発に取り込んでいる。異なる種類の手法の長所を発揮させるための機械学習のモデルを結合させるMachine Collaborationの研究を展開してきた。その初期的な成果を論文にまとめた。Machine Collaborationは既存のパラレル型（Staking）やシクェンシャル型(Boosting)のアンサンブル学習の手法と異なって、情報の伝達は周回的であるため、学習システム全体の最適化が実現できる。複数の機械学習の手法を総合利用するところはモデル平均の発想の拡張となっている。
|
