2021 Fiscal Year Annual Research Report
Establishing a Flexible and Reliable Automatic Approximate Inference Method to Accelerate the Social Execution of Statistical Modeling.
| Project/Area Number |
21J11859
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
藤澤 将広 東京大学, 新領域創成科学研究科, 特別研究員(DC2)
|
|---|
| Project Period (FY) |
2021-04-28 – 2023-03-31
|
| Keywords | ロバスト性 / 機械学習 / 安定性 / 近似推論 / 変分推論 / 近似ベイズ計算 / シミュレーション / 分散抑制 |
|---|
| Outline of Annual Research Achievements |
統計モデリングの社会浸透の妨げとなっている理由としては，複雑なモデルの自動的推論を可能にする近似自動推論の，「（１）推論の不安定性」，及び「（２）外れ値に対する脆弱性」の２つの課題が理由と挙げられる．そこで，本年度では，上記問題を解決し，データ解析を通した価値創発の社会浸透を加速させることを目的に，以下の２つの研究を行った．
(I)：高速収束・高精度なブラックボックス変分推論の開発
ブラックボックス変分推論は，勾配を確率的に推定する「確率的勾配」を用いることで柔軟なモデル推論を可能にした，強力な近似自動推論法である．しかし，確率的勾配の分散は，推論の収束性及び精度に悪影響を及ぼす．本研究では，「過去の勾配履歴」を利用することで，確率的勾配の分散を効果的に減少させ，推論速度・精度を向上させる方法を開発した．本研究に関する論文は，分野最高峰の国際論文誌であるJournal of Machine Learning Researchに採択された．
(II)：多くの外れ値の影響を自動的に抑制する近似ベイズ計算の開発
疫学や宇宙学などの分野では，勾配の確率的推定さえも難しいモデルを用いることが多々ある．その際によく使用される自動推論が，近似ベイズ計算である．近似ベイズ計算は，シミュレーションさえ可能であれば，モデル構造に依らず推論が可能だが，学習データに含まれる外れ値に強く影響を受ける．そこで，本研究では，外れ値に頑健なダイバージェンスを確率的に推定可能な形に再定式化し，多くの外れ値を自動的に無視可能な距離尺度を開発した．そして，この距離尺度を元に，汚染データに頑健な，柔軟で信頼性の高い近似ベイズ計算を実現した．本研究に関する論文は，AISTATS2021という分野最高峰の国際会議に採択され，分野最大の国内会議IBIS2021で優秀発表賞を受賞した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
研究計画書に記述した，「(I)：高速収束・高精度なブラックボックス変分推論の開発」及び「(II)：多くの外れ値の影響を自動的に抑制する近似ベイズ計算の開発」について，どちらも分野にて重要視されている国際論文誌・国際会議に論文を発表できたということを考慮すると，当初の目標は概ね達成できたと言える．
つまり，「柔軟で信頼性の高い近似自動推論法」の開発は順調に進めることができた．
さらに，（II）で提案した方法は，オックスフォード大学などの研究チームが開発する機械学習ライブラリ「ABCpy」に搭載されており，社会実装を一歩前進させることに成功した．
よって，次年度は，これらの研究成果をより一般化する，あるいは実社会応用に適用することで，開発した手法の信頼性を確認し，「統計モデリングの社会実装を加速させる」フェーズに移行することができる．
この点においても，研究は計画通りに進んでいるとみて差し支えない．
|
| Strategy for Future Research Activity |
今後は，（I）（II）の成果を一般化，及び実社会応用を行う予定である．具体的には，以下のとおりである．
（I）高速収束・高精度なブラックボックス変分推論の一般化について
本研究成果は，近似自動推論の下で開発されたが，ここで使用された「過去の勾配を再利用する」というアイデアは，変分推論のみならず，確率的最適化に転移が可能であることが見込まれる．これにより，その他の近似自動推論技術や深層学習，強化学習など，幅広い機械学習タスクにおいて，モデル推論の不安定性が解決でき，より広範な分野に信頼性の高い機械学習技術を確立可能にする可能性がある．本研究を通して論文に値する結果が得ることができれば，前年度同様に，分野で主要な国際会議に論文を投稿する予定である．
（II）多くの外れ値の影響を自動的に抑制する近似ベイズ計算を用いた実データ解析
当該研究を真に役立つものとするためには，現場で取り扱われているデータに提案法を適用し，その有用性を示すことが必要不可欠である．そこで，近似ベイズ計算がよく使用されている宇宙学などの分野に焦点をあて，諸分野で解析が必要となっているデータ・タスクに提案法を適用し，信頼性の高い推論が達成されていることを確認する．例えば，すばる望遠鏡から観測された天体画像に対し，頑健なシミュレーションが可能であることを確認する．本研究を通して論文に値する結果が得ることができれば，諸分野で重要視されている国際論文誌に論文を投稿し，信頼性の高い応用が可能であることを広く宣伝することを検討する．
これらの活動を通して，本研究課題の最大目標である，「柔軟で信頼性の高い近似自動推論を通した統計モデリングの社会実装の加速」を狙う．
|
| Remarks |
「γ-ABC」のURLは，[t_%ce%b3]の部分を[γ]に置き換えると確実に表示されます．
|
