| 研究課題/領域番号 |
21H03503
|
|---|
| 配分区分 | 補助金 |
|---|
| 研究機関 | 国立情報学研究所 |
|---|
研究代表者 |
杉山 麿人 国立情報学研究所, 情報学プリンシプル研究系, 准教授 (10733876)
|
|---|
| 研究期間 (年度) |
2021-04-01 – 2025-03-31
|
| キーワード | 機械学習 / 情報幾何学 / 正則モデル / 統計モデル / テンソル低ランク近似 / ブラインド信号源分離 |
|---|
| 研究実績の概要 |
本研究では、正則な統計モデルによる深層構造の実現を目指す。深層学習が成功を収めているが、既存のアプローチは特異な統計モデル（パラメータに関するフィッシャー情報量行列が特異行列になるモデル）に基づくことが知られている。しかし、特異なモデルでは、モデルの理論解析や最適化が難しいため、様々な深層モデルや学習アルゴリズムが乱立しており、統一的な品質保証や性能分析が困難という問題がある。そこで本研究では、パラメータ空間の座標系に直接深層構造を実装する、というアイデアで、特異ではない正則モデルで深層構造を実現する。これによって、特異モデルに起因する様々な問題を一気に解決する。
初年度である2021年度は、まず(1)正則な統計モデルの理論的性質の解析及び(2)実践的な機械学習手法の構築、に取り組み、それぞれの項目で研究成果を挙げることに成功した。研究項目(1)において、情報幾何学を用いた離散構造をもつ統計モデルの理論解析を進め、過剰パラメータ化を幾何的な観点から説明することを試みるとともに、研究項目(2)において、行列・テンソル分解の手法の理論的解析および実践的アルゴリズムの構築を進めた。特に、テンソル分解を正則な統計モデル上の学習として捉えることで、タッカーランクを削減するための理論的な性質を解明し、高速に低ランク近似を実施する実践的なアルゴリズムを構築することに成功した。さらに、同様の枠組みを用いて、ブラインド信号現分離を実現する新規手法を開発し、その性能を検証した。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
1: 当初の計画以上に進展している
理由
本研究では、モデルそのものに深層構造を組み込むのではなく、モデルが持つパラメータ空間上で深層構造を構成する、というアプローチによって、深層構造を持つ正則な統計モデルの存在を理論的に示すとともに、モデルの構成法を確立し、その構成法にしたがって実践的な機械学習手法を構築することを目的として研究を進めている。より具体的には、研究全体を通して、以下の3点を明らかにする:(1) 深層構造を備えた正則な統計モデルの理論的性質を明らかにする。(2) 深層構造を備えた正則な統計モデルに基づく実践的な機械学習手法を構築し、標準的な機械学習タスクにおいて性能を検証することで有用性を明らかにする。(3) 実問題に適用することで、応用問題における性能を評価し、提案モデルの有用性を明らかにする。
まず研究項目(1)及び(2)に同時に取り組み、理論解析及び実践的手法の構築を進めた。特に、提案の正則モデルをブラインド信号源分離問題に適用し、新規アルゴリズムを構築することで、提案アプローチが持つ実効性を検証し、行列分解に基づく既存手法と比較して安定かつ高精度な分解ができることを示した。この研究成果は、統計的機械学習の分野におけるトップ国際会議の一つであるUAI2021で発表した。さらに、行列やテンソルに着目することで、深層構造を備えた正則な統計モデルの学習と、行列やテンソルを対象とした解析手法との類似性を見出し、情報幾何学を用いた手法の理論解析および新規アルゴリズム構築を進め、安定かつ高速なタッカー低ランク近似アルゴリズムを構築した。この研究成果は、機械学習分野のトップ国際会議NeurIPS2021およびAISTATS2022で発表した。
|
| 今後の研究の推進方策 |
まず研究項目(1)において、より詳細に提案の正則モデル上の学習と、テンソル分解をはじめとした既存モデルとの関連性を理論的に解析する。これによって、提案アプローチの立ち位置をより明確にする。研究項目(2)においては、これまでに構築した行列・テンソル分解の手法をさらに発展、一般化することで、テンソル分解を正則な統計モデル上の学習として捉えた新規手法の構築と、既存の線形代数的な操作との対応についての解析を進める。これまでランクに着目して研究が進んできた行列・テンソル分解やそれに伴う低ランク近似に対して、新たなアプローチを導入する試みであり、本研究全体の核をなす研究となることが期待される。さらに、研究項目(3)については、本研究で提案している正則モデルを用いた分子の電子波動関数を求める手法やその量子アルゴリズム開発を実施し、量子化学シミュレーションによる実証をおこなう。これは共同研究で実施する。
|
