Regular Deep Learning Models and Their Applications
| Project/Area Number |
23K21699
|
|---|
| Project/Area Number (Other) |
21H03503 (2021-2023)
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Multi-year Fund (2024)
Single-year Grants (2021-2023) |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61030:Intelligent informatics-related
|
|---|
| Research Institution | National Institute of Informatics |
|---|
Principal Investigator |
杉山 麿人 国立情報学研究所, 情報学プリンシプル研究系, 准教授 (10733876)
|
|---|
| Project Period (FY) |
2021-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2024)
|
| Budget Amount *help |
¥17,160,000 (Direct Cost: ¥13,200,000、Indirect Cost: ¥3,960,000)
Fiscal Year 2024: ¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2023: ¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2022: ¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2021: ¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000)
|
|---|
| Keywords | 機械学習 / 深層学習 / 正則モデル / 隣接代数 / 情報幾何学 / 統計モデル / テンソル分解 / 量子化学 / テンソル低ランク近似 / ブラインド信号源分離 |
|---|
| Outline of Research at the Start |
本研究では、正則な統計モデルによる深層構造の実現を目指す。深層学習が成功を収めているが、既存のアプローチは特異な統計モデル（パラメータに関するフィッシャー情報量行列が特異行列になるモデル）に基づくことが知られている。しかし、特異なモデルでは、モデルの理論解析や最適化が難しいため、様々な深層モデルや学習アルゴリズムが乱立しており、統一的な品質保証や性能分析が困難である。そこで本研究では、パラメータ空間の座標系に直接深層構造を実装する、というアイデアで、特異ではない正則モデルで深層構造を実現する。これによって、特異モデルに起因する様々な問題を一気に解決する。
|
| Outline of Annual Research Achievements |
本研究では、正則な統計モデルによる深層構造の実現を目指す。深層学習が成功を収めているが、既存のアプローチは特異な統計モデル（パラメータに関するフィッシャー情報量行列が特異行列になるモデル）に基づくことが知られている。しかし、特異なモデルでは、モデルの理論解析や最適化が難しいため、様々な深層モデルや学習アルゴリズムが乱立しており、統一的な品質保証や性能分析が困難という問題がある。そこで本研究では、パラメータ空間の座標系に直接深層構造を実装する、というアイデアで、特異ではない正則モデルで深層構造を実現する。これによって、特異モデルに起因する様々な問題を一気に解決する。
2022年度は、(1)正則な統計モデルの理論的性質の解析、(2)実践的な機械学習手法の構築、そして(3)実問題における評価に取り組み、それぞれの項目で研究成果を挙げることに成功した。研究項目(1), (2)において、情報幾何学を用いた行列・テンソル分解の手法の理論的解析および実践的アルゴリズムの構築を進め、テンソル分解を正則な統計モデル上の学習として捉えた新規手法の開発と、開発した分解手法がもつ性質と既存の線形代数的な分解手法との対応を解析した。これまでランクに着目して研究が進んできた行列・テンソル分解やそれに伴う低ランク近似に対して、新たなアプローチを導入することに成功した重要な研究成果であり、今後の拡張性も高い。さらに、研究項目(3)について、本研究で提案している正則モデルを用いた分子の電子波動関数を求める手法やその量子アルゴリズム開発についての共同研究を実施し、量子化学シミュレーションの実証に成功した。これによって、応用問題における提案アプローチの有効性が実証されたといえる。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
本研究では、モデルそのものに深層構造を組み込むのではなく、モデルが持つパラメータ空間上で深層構造を構成する、というアプローチによって、深層構造を持つ正則な統計モデルの存在を理論的に示すとともに、モデルの構成法を確立し、その構成法にしたがって実践的な機械学習手法を構築することを目的として研究を進めている。より具体的には、研究全体を通して、以下の3点を明らかにする:(1) 統計学や情報幾何学、情報理論を用いることで、深層構造を備えた正則な統計モデルの理論的性質を明らかにする。(2) 深層構造を備えた正則な統計モデルに基づく実践的な機械学習手法を構築し、標準的な機械学習タスクにおいて性能を検証することで有用性を明らかにする。(3) 量子化学や計算化学、生命科学といった実問題に適用することで、応用問題における有用性を明らかにする。
これまで、研究項目(1), (2)において、情報幾何学を用いた行列・テンソル分解の手法の理論的解析および実践的アルゴリズムの構築を進め、テンソル分解を正則な統計モデル上の学習として捉えた新規手法の構築と、既存の線形代数的な操作との対応についての解析を実行した。構築した手法による学習は凸最適化として定式化されるため、初期値に関わらず必ず大域的な最適解が求まる。この成果は、情報幾何学分野のフラッグシップ誌Information Geometry誌に掲載された。これによって、すでに研究項目(1)と(2)の主要な課題については解決したと考えられる。さらに、研究項目(3)について、量子化学の分野において提案モデルに基づいた手法による量子化学シミュレーションの実証に成功し、その内容がDigital Discovery誌に掲載された。研究項目(3)についてもその主要な課題は解決したと考えられる。
|
| Strategy for Future Research Activity |
まず研究項目(1)において、より精緻かつ一般的なモデルを対象とした理論解析を進める。特に、過剰パラメータ化と呼ばれる、サンプルサイズを超過するパラメータを持つモデルによる学習が近年盛んに研究されているが、この過剰パラメータ化に着目することで、正則モデルやその深層構造が持つ学習能力を情報理論的に解析し評価する。研究項目(2)においては、これまでに構築した行列・テンソル分解の手法をさらに発展させ、変数間の相互作用に基づく新たなアプローチを構築するとともに、その有用性を検証する。また、これまで一貫して寄与としていたモデルの基底が持つ構造に対して、テンソル分解問題を限られたサンプル点から関数全体を復元するサンプリング問題と捉えるこで、基底の妥当性を検証する。また、サンプル点からの関数の復元可能性は、関数空間のカーネルが重要な役割を果たすことが知られている。そこで、カーネルに着目した研究も同時に進める。さらに、研究項目(3)については、すでに量子化学分野においては提案アプローチの有用性を示すことに成功しているが、さらに生命科学などの他分野においても検証を進める。
|
Report
(2 results)
Research Products
(26 results)
