2022 Fiscal Year Annual Research Report
Fronteers of Data Science by Probabilistic Description and Inference of Dynamics
| Project Area | Establishing data descriptive science and its cross-disciplinary applications |
|---|
| Project/Area Number |
22H05106
|
|---|
| Research Institution | The Institute of Statistical Mathematics |
|---|
Principal Investigator |
福水 健次 統計数理研究所, 数理・推論研究系, 教授 (60311362)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
下平 英寿 京都大学, 情報学研究科, 教授 (00290867)
河原 吉伸 大阪大学, 情報科学研究科, 教授 (00514796)
横井 祥 東北大学, 情報科学研究科, 助教 (60888949)
|
|---|
| Project Period (FY) |
2022-06-16 – 2027-03-31
|
| Keywords | 人工知能 / ダイナミクス / 統計科学 / 時系列解析 |
|---|
| Outline of Annual Research Achievements |
2022年度の研究実績は以下のとおりである．
〇データの生成過程と関連性の幾何的な記述： 自然言語の統計的な生成過程の研究として，単語のコーパス分布を事前分布，文脈における分布を事後分布と考えたときの情報ゲインが単語ベクトルのノルムの２乗に相当することを，指数型分布族の観点で示した．また，自然言語処理のモデル内でのデータの幾何的な表現に関して，Transformer と呼ばれるアーキテクチャ内での単語頻度や情報量の符号化のされかた，固有表現の埋込空間での局所性，単語集合の埋込空間での表現方法，の3点に着目して研究をおこなった．さらに，マルチタスク転移学習における表現学習について検討した．加えて，VAEにおける事後分布崩壊を防ぐ理論的な方法を開発した．
〇データの位相的情報を抽出する記述言語： データに含まれる背景ノイズにロバストなパーシステント図を構成するため，Median-of-Meansと呼ばれる方法を用いた点群向けのフィルトレーションの方法を開発した．また，グラフ上の非正規化分布に対する最適輸送の効率的アルゴリズムを開発した．
〇確率的なダイナミクスによるデータの記述と推論： 群の作用に基づく系列データをAutoencoderの学習によって線形の推移則に還元する表現学習の方法を研究した．また，確率的力学系の汎用的な表現方法の一つである転送作用素の推定に関連した研究を遂行した．例えば，深層学習を用いたend-to-endの学習により，転送作用素の随伴であるクープマン作用素による非線形ダイナミクスの主要なモードを推定するモデルを提案し，十分に高次元な観測が得られない場合においても観測量の学習を通して作用素表現，及び主要モードを高精度で推定可能であることを確かめた ．さらに，系列データの非線形正準相関解析による埋め込みを介した拡散生成モデルに関する検討を進めた．
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
研究が計画に沿って進んでいることに加えて，ICML, AISTATSなど機械学習分野のトップ国際会議などへの採択などを含む高い成果が具体的にあらわれているため，計画以上進展していると判断できる．
|
| Strategy for Future Research Activity |
R4年度の知見に基づいて，今年度は以下述べるように３つの研究課題を進めていく．引き続き，研究に関する方向性を各参加メンバーが共有することを目的として，オンラインを併用しながら高い頻度で議論をする機会を設ける．また博士研究員の雇用などにより研究体制を強化する．
〇データの幾何的記述と推論： 自然言語などの巨大な系列やグラフデータのベクトル的な埋め込みに関して，データに内在する加法性などの演算原理に関する研究を発展させる．また，カーネル法によるベイズ推論に関して，尤度無し推論と時系列に応用可能な方法について検討を行う．さらに，基礎研究班と連携のもと最適輸送と拡散モデルを用いた推論法に関して研究を行う．
〇位相的データ記述言語の統計的性質： 従来のTDAが不得手としていた背景ノイズに対してロバスト性を持つ方法を継続して研究する．特に点群からのパーシステント図のロバストな構成法に関して実験的，理論的に研究を行い，天文データへのロバストTDAの適用をはかるとともに，材料科学班と連携して材料TDAへの有効な応用課題を検討する．
〇確率的なダイナミクスによるデータの推論と記述： Koopman作用素と深層学習を用いてデータから未知のダイナミクスを学習し，将来の予測や未知パラメータの推定を行う方法に関して研究を行う．特に，パラメトリックな微分方程式や確率微分方程式によるモデルが仮定できる場合に，そのモデルを融合して用いる方法に関して研究を進める．また，生命科学班や応用探索班と連携して，具体的に解決すべき問題を探索する．
|
