| Project/Area Number |
23K21699
|
|---|
| Project/Area Number (Other) |
21H03503 (2021-2023)
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Multi-year Fund (2024)
Single-year Grants (2021-2023) |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61030:Intelligent informatics-related
|
|---|
| Research Institution | National Institute of Informatics |
|---|
Principal Investigator |
杉山 麿人 国立情報学研究所, 情報学プリンシプル研究系, 准教授 (10733876)
|
|---|
| Project Period (FY) |
2021-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2024)
|
| Budget Amount *help |
¥17,160,000 (Direct Cost: ¥13,200,000、Indirect Cost: ¥3,960,000)
Fiscal Year 2024: ¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2023: ¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2022: ¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2021: ¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000)
|
|---|
| Keywords | 機械学習 / 深層学習 / 正則モデル / 隣接代数 / 情報幾何学 / 統計モデル / テンソル分解 / テンソルネットワーク / 量子化学 / テンソル低ランク近似 / ブラインド信号源分離 |
|---|
| Outline of Research at the Start |
本研究では、正則な統計モデルによる深層構造の実現を目指す。深層学習が成功を収めているが、既存のアプローチは特異な統計モデル（パラメータに関するフィッシャー情報量行列が特異行列になるモデル）に基づくことが知られている。しかし、特異なモデルでは、モデルの理論解析や最適化が難しいため、様々な深層モデルや学習アルゴリズムが乱立しており、統一的な品質保証や性能分析が困難である。そこで本研究では、パラメータ空間の座標系に直接深層構造を実装する、というアイデアで、特異ではない正則モデルで深層構造を実現する。これによって、特異モデルに起因する様々な問題を一気に解決する。
|
| Outline of Annual Research Achievements |
本研究では、正則な統計モデルによる深層構造の実現を目指す。深層学習が成功を収めているが、既存のアプローチは特異な統計モデル（パラメータに関するフィッシャー情報量行列が特異行列になるモデル）に基づくことが知られている。しかし、特異なモデルでは、モデルの理論解析や最適化が難しいため、様々な深層モデルや学習アルゴリズムが乱立しており、統一的な品質保証や性能分析が困難という問題がある。そこで本研究では、パラメータ空間の座標系に直接深層構造を実装する、というアイデアで、特異ではない正則モデルで深層構造を実現する。これによって、特異モデルに起因する様々な問題を一気に解決する。
2023年度は、昨年度から引き続き(1)正則な統計モデルの理論的性質の解析、(2)実践的な機械学習手法の構築、そして(3)実問題における評価に取り組み、それぞれの項目で研究成果を挙げることに成功した。特筆すべき成果として、情報幾何学を用いた行列・テンソル分解の手法の理論的解析および実践的アルゴリズムの構築を進め、テンソル分解を正則な統計モデル上の学習として捉えた新規手法として「テンソル多体近似」と呼ばれる手法を確立した。この手法では、テンソルの各軸方向（モード）間の関連を陽にモデリングすることで、テンソルを低次のテンソル（ベクトルや行列）の積へと分解するとともに、統計モデルの正則性から凸最適化が保証されている。実践的な機械学習手法となっており、かつ既存の主要アプローチの一つであるテンソルネットワークとの関係も理論的に解析することに成功しており、今後の拡張性も高い。さらに手法の解釈性も高く、道路の交通データをはじめとした実世界での様々なデータにおいて、それぞれのドメインにおける背景知識を利用した多体近似によるモデリングを実施し、精度高くテンソル近似が実現できることを実験的に検証した。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
本研究では、モデルそのものに深層構造を組み込むのではなく、モデルが持つパラメータ空間上で深層構造を構成する、というアプローチによって、深層構造を持つ正則な統計モデルの存在を理論的に示すとともに、モデルの構成法を確立し、その構成法にしたがって実践的な機械学習手法を構築することを目的として研究を進めている。より具体的には、研究全体を通して、以下の3点を明らかにする:(1) 統計学や情報幾何学、情報理論を用いることで、深層構造を備えた正則な統計モデルの理論的性質を明らかにする。(2) 深層構造を備えた正則な統計モデルに基づく実践的な機械学習手法を構築し、標準的な機械学習タスクにおいて性能を検証することで有用性を明らかにする。(3) 量子化学や計算化学、生命科学といった実問題に適用することで、応用問題における有用性を明らかにする。
これまでに、情報幾何学を用いた行列・テンソル分解手法であるテンソル多体近似と呼ばれる手法を確立した。研究項目(1)として、この理論解析を進め、テンソル分解を正則な統計モデル上の学習として捉えることで学習を凸最適化として定式化し、初期値に関わらず必ず大域的な最適解が求まることを示すとともに、関連したモデルであるテンソルネットワークとの関係を理論的に示すことに成功した。さらに、研究項目(2)として、効率的なアルゴリズムを構築し、実験においてその有効性を確認した。さらに、実世界のデータにおける有効性の検証も実施済みであり、研究項目(3)についても達成されたと考えられる。この成果は、機械学習分野のトップ国際会議 Neural Information Processing Systems (NeurIPS) で発表した。
|
| Strategy for Future Research Activity |
これまでテンソルを主な対象として研究を進めてきたが、より一般の分類問題などを対象とした学習モデルについての理論解析、および実践的手法の開発を進める。分類モデルにおいても、独立に高次相関に着目したモデリングの研究が進んでおり、また関連したアプローチとして分散を低次の分散の和へと分解する手法も知られている。そこで、本研究で開発を進めてきたアプローチとこれらの既存手法との関係を理論・実践の両面から解析することで、提案アプローチの位置付けを明確化する。
また、パラメータ空間を移動した時のモデルの振る舞いの解析を同時に進める。特異モデルによる非凸最適化では局所解が大量に存在するが、うまく関数の不変性を用いてパラメータを変換することで、異なる初期値から学習した2つのモデルの間のパラメータの線形補完が可能となるLinear Mode Connectivity (LMC)と呼ばれる現象が知られている。この現象を積極的に用いることで、モデルマージと呼ばれる複数モデルのパラメータ上での統合による性能向上を実現することが可能となる。そこで、情報幾何学を用いることで、LMCやモデルマージと提案アプローチの関係を探る。様々なドメインでの実データで性能を検証することで、応用問題における有用性を明らかにする。
|
