2023 Fiscal Year Annual Research Report
| Project/Area Number |
23H03355
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | Kyoto University |
|---|
Principal Investigator |
下平 英寿 京都大学, 情報学研究科, 教授 (00290867)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
寺田 吉壱 大阪大学, 大学院基礎工学研究科, 准教授 (10738793)
|
|---|
| Project Period (FY) |
2023-04-01 – 2026-03-31
|
| Keywords | ベイズ統計学 / 事前分布 / 仮説検定 / MCMC法 / サンプリング / 頻度論 / 分散表現 / 表現学習 |
|---|
| Outline of Annual Research Achievements |
近年のベイズ統計学の普及はめざましい．パラメータ事前分布とデータ尤度からなる生成モデルにベイズの定理を適用してパラメータ事後分布を計算することは概念的に明快でMCMC法が普及したことでベイズ推論の利用が拡大した．しかし仮説検定の課題においては必ずしもベイズ推論は有効に機能せず，従来から頻度論的推論が標準的に利用されている状況は変わっていない．本研究では，事前分布を頻度論的推論に矛盾なく取り込むための原理と実装の創出を目指す．ベイズ統計学で得られる事後分布をそのまま利用して確率のスケーリング則の理論を適用すると，ベイズ推論の事後確率と信用区間は頻度論的推論のp値と信頼区間に変換される．通常は捨てている事前分布を頻度論的推論に活かすことで，柔軟なモデリングや恵まれた計算環境といったベイズ推論の良さも頻度論的推論へ引き継がれる．
具体的な研究課題として３項目を計画した．（１）パラメータ事前分布を頻度論的推論に活用する原理を与え，（２）事後分布からのサンプリングを利用して頻度論的推論を実装し，（３）ニューラルネットなど大規模モデルでも有効性を検証する．このうち，本年度の概要は次の通り．
・研究項目（１）と（２）について，簡単な確率モデルを用いて検討する． 多変量正規分布の設定において，有効性を確認している．
・研究項目（３）について，ニューラルネットの現実的な規模のモデルで基礎的な性質を確認する．具体的には，単語の分散表現（単語ベクトル）の学習において，ランジュバン動力学にもとづくMCMCを実装した．その結果，これがベイズの事後分布からのサンプリングの近似として有効であるが，一方でMCMCの収束性について十分に検討すべきであることがわかった．また，静的な単語ベクトルだけでなく，言語モデルに見られる動的な埋め込み等の様々な状況で学習の実験を行い，表現学習における埋め込みの性質を調べた．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
理論研究とその実証実験，および自然言語処理等への応用で一定の成果があった．
|
| Strategy for Future Research Activity |
今後も自然言語処理などの応用をすすめて得られる知見を理論研究に生かしつつ，理論的な興味に基づいた研究も発展させる．
|
