| 研究課題/領域番号 |
21K17718
|
|---|
| 研究機関 | 統計数理研究所 |
|---|
研究代表者 |
奥野 彰文 統計数理研究所, 統計思考院, 助教 (40897972)
|
|---|
| 研究期間 (年度) |
2021-04-01 – 2025-03-31
|
| キーワード | 過剰パラメータ / 汎化ギャップ / 収束レート |
|---|
| 研究実績の概要 |
リンク予測問題を含むより一般的な枠組みとしてニューラルネットなど過剰パラメータモデルを考え，その予測がどの程度信頼できるのか，新規のデータに対する当てはまりを示す汎化誤差を効率的に推定する方法を考案した．特にWAICと呼ばれる情報量基準がニューラルネットなど近年用いられる巨大な予測モデルにも利用可能であることを証明し，ランジュバン動力学を用いてより効率的にWAICを計算する方法を考案した．これらの成果はグラフ埋め込みやリンク予測に限らない一般の問題にも利用可能であり，今後も研究の発展が見込まれる．本成果に関連する英文のプレプリントを公開済みであり，専門誌に投稿し現在査読中である．これらの成果はすでに国際会議等での発表を行っている．
また本研究が対象とするグラフ埋め込みなど表現学習にも用いられる，オートエンコーダなどを含む一般の枠組みとして可逆関数推定の理論解析も行っており，ノンパラメトリック統計を用いてリスクの収束レートを導出し，こちらも英文プレプリントを公開した．現在専門誌の査読中であり，国際会議などでの発表も行った．
さらに関連して新たなノンパラメトリック回帰のバイアス補正法Local Radial Logistic Regression (LRLR)を提案し，英文のプレプリントを公開した．バイアス補正により，より高精度な予測が期待できる．投稿論文は現在査読中であり，国際会議などでも発表を行った．LRLRに関連する成果2本が和文の国内学会プロシーディングスとして掲載された．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
本研究に関連した様々な設定での研究を開始し，英文プレプリントを3本公開し専門誌に投稿した．和文の国内会議プロシーディングスに2本の論文が採択された．また国内会議・国際会議などでも報告を終えており，現在投稿論文が査読中であるほか，公開済みプレプリントの後続研究が進行中である．
|
| 今後の研究の推進方策 |
グラフ埋め込み・リンク予測に限定しないより一般の枠組みとしての過剰パラメータモデルの汎化ギャップ推定の研究を進める．特に，応用面では畳み込みニューラルネットワークなどのより巨大な予測モデルをより現実的な画像データなどで学習する場合でも提案法がうまく動作するかどうかを実験的に検証する．理論面ではランジュバン動力学が過剰パラメータや非線形の設定でもうまく動作するのか調べる．これらの研究は現在すでに進行中である．
予測モデルの可逆性に着目した研究に関して，現在得られている理論的な設定をより拡張する．理論的な制約により，すでに公開したプレプリントでは特に2次元の関数推定のみを考えているが，現実にはほとんど起こりえないであろう極端な反例を省く条件を追加することで一般のd次元での理論を構成する．
|
| 次年度使用額が生じた理由 |
新型コロナウイルスによる社会的情勢を鑑みて，当初想定した旅費を利用できなかったため．
|
