| Project/Area Number |
23K16948
|
|---|
| Research Category |
Grant-in-Aid for Early-Career Scientists
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Basic Section 61030:Intelligent informatics-related
|
|---|
| Research Institution | Osaka University |
|---|
Principal Investigator |
二見 太 大阪大学, 大学院基礎工学研究科, 講師 (40854782)
|
|---|
| Project Period (FY) |
2023-04-01 – 2026-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000)
Fiscal Year 2025: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
Fiscal Year 2024: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2023: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
|
|---|
| Keywords | 統計的学習理論 / 機械学習 / 情報理論 / ベイズ推定 / ベイズ推論 / 深層学習 / 不確実性 |
|---|
| Outline of Research at the Start |
本研究は、①深層ベイズの予測性能と統計的不確実性の両方を保証できる新たな学習理論を構築し、これをもとに②高精度な予測性能と不確実性の評価が可能な深層ベイズ推論の手法の開発を目的とする。そのために深層ベイズ推論の問題を「予測性能」と「ばらつき」に関する多目的最適化問題として再立式し、その問題に対する理論解析を行う。本研究により高精度な予測性能と不確実性の保証が可能な深層ベイズ推論の開発につながり、信頼性評価や探索問題など不確実性が重要な問題への応用展開が広く期待される。
|
| Outline of Annual Research Achievements |
本研究計画の目標は，伝統的なベイズ推論の枠にとどまらない深層ベイズ推論のもつ統計的不確実性の理論的な解明を，そうした学習を行う際に現れる「ばらつき」に注目し，アルゴリズムやモデルの情報を踏まえた新しい統計的学習理論を構築するものである．
そうした観点から本年度は研究計画の第一段階として，ばらつきを相互情報量および条件付き相互情報量として定義することで，情報理論の立場から統計的学習理論の構築を行った．
具体的には，学習された関数やパラメータと訓練データの（条件付き）相互情報量を評価することで，統計的学習理論の典型的な目的であるテストデータの振る舞いを保証する汎化誤差理論の構築した．またその結果を深層ベイズの学習のために標準的に用いられるアルゴリズムに適用した．たとえば深層ベイズや大規模なベイズ学習などで標準的に使われるStochastic gradient Langevin dynamicsと呼ばれるアルゴリズムにこの理論解析を適用し，その統計的学習理論を導出した．これまでのこのアルゴリズムの理論解析の際には実際に数値実験で用いられるよりはるかに強い仮定が必要であった．一方で我々の理論解析の元では実際の数値実験などで使われるような設定も含むより弱い仮定の下で既存研究と同等の理論的導出に成功した．また我々は（条件付き）相互情報量がある学習データと，その学習データの１点を入れ替えた時にSGLDアルゴリズムによって出力されるパラメータの従う分布間に関するカルバック・ライブラーダイバージェンスで評価できることを明らかにした．
これらの研究成果は学会での発表や論文誌に投稿している．特に，一つ目の論文はすでに（査読あり）国際学会誌に採択され，２本目は採択通知があり，３本目は査読中という状況である．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初の計画書の通り研究計画１のばらつきに注目した理論の展開，および研究計画２の学習の際のアルゴリズムに注目した理論解析を行った．そしてそれらの結果について以下の通り，当初の計画の内容について理論的進捗，さらに具体的なアルゴリズムへの応用可能性に関する示唆が得られたことから研究計画１，２それぞれについてはおおむね順調に進展していると考えている．
個別の研究計画について具体的な進捗は以下のとおりである．まず研究計画１については研究実績の概要に記載の通り，ばらつきを情報理論にもとづく相互情報量として取り扱い学習理論を構築した点が最大の進捗である．さらにその結果についてStochastic gradient Langevin dynamics（SGLD）という広く実用的に使われるアルゴリズムに適用を行った．特にこれまでの理論解析では厳しい理論的な仮定（凸性やステップ幅，正則化など）の下でのみ理論解析がされており，それらは数値実験で知られている実際の仮定よりはるかに厳しいものでった．今回我々の情報理論を用いたアプローチを活用することで，より実際の設定に近い弱い仮定（非凸性やステップ幅，正則化に関する柔軟な制約）の下で学習理論の構築に成功した．
また研究計画２ではアルゴリズムの性質のうち安定性の果たす役割について安定性と相互情報量の関係について解析を行った．特に相互情報量が，カルバック・ライブラーダイバージェンスの元での安定性により評価が可能であることを明らかにした．
このように研究計画１および２について当初の計画の通り解析を行うことができており，また理論研究を通してより実用的な問題設定への適用可能性が示唆されたことから，来年度の研究においても計画の通り進めることが可能であると期待される．以上より計画はおおむね順調に進展していると考えている．
|
| Strategy for Future Research Activity |
本年度の研究においては当初の計画の通り，基本的な問題設定における「ばらつき」を情報理論に基づいて，相互情報量および条件付き相互情報量として取り扱うことで，統計的学習理論の基本となる汎化誤差の理論を導いた．
一方で今年度取り組めなかった内容は，１）不確からしさの理論解析，２）提案する学習理論の限界の解明，および３）アルゴリズムの提案の３つである．
まず１）不確からしさについては，これまでに導出した理論は損失関数に関する訓練データとテストデータの挙動のギャップを評価する汎化誤差解析であり，またデータの出現やアルゴリズムに含まれるランダムネスに関して期待値をとった典型的な挙動を理解するための理論である．しかし不確からしさは典型的挙動と相対する概念である．そこで次年度では不確からしさを評価できるよう理論解析を期待値評価から拡張していく計画である．
次に２）理論の限界であるが，本年度は我々の理論の有用性を明らかにするために，深層ベイズで典型的に使われるアルゴリズムに我々の理論を適用しその有用性を明らかにした．一方どのような場合に我々の理論が不適切なのかを明らかにすることは，後述するアルゴリズムの開発の際や，我々の理論と既存研究の関係を明らかにするという観点から非常に重要である．そこで次年度ではいわゆる保証の限界である下界の導出や既存研究の破綻例が我々の理論ではどのようになるのかを検討する．
次に３）アルゴリズムの開発であるが，今年度に既存の典型的なアルゴリズムに我々の理論を適用した結果を踏まえて，例えばアルゴリズムにおけるハイパーパラメータの選択などが我々の理論をもとに選択できることなどを数値実験などを通して明らかにしたい．
|
