Developing variable selection methods and post-selection inference under double-descent phenomena
| Project/Area Number |
23K18471
|
|---|
| Research Category |
Grant-in-Aid for Challenging Research (Exploratory)
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Medium-sized Section 60:Information science, computer engineering, and related fields
|
|---|
| Research Institution | The Institute of Statistical Mathematics |
|---|
Principal Investigator |
二宮 嘉行 統計数理研究所, 統計基盤数理研究系, 教授 (50343330)
|
|---|
| Project Period (FY) |
2023-06-30 – 2026-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥6,370,000 (Direct Cost: ¥4,900,000、Indirect Cost: ¥1,470,000)
Fiscal Year 2025: ¥1,950,000 (Direct Cost: ¥1,500,000、Indirect Cost: ¥450,000)
Fiscal Year 2024: ¥2,080,000 (Direct Cost: ¥1,600,000、Indirect Cost: ¥480,000)
Fiscal Year 2023: ¥2,340,000 (Direct Cost: ¥1,800,000、Indirect Cost: ¥540,000)
|
|---|
| Keywords | 因果推論 / 高次元統計学 / 情報量規準 / 選択的推論 / ランダム行列理論 |
|---|
| Outline of Research at the Start |
「複雑なモデルは不適切でも，より複雑にすれば適切になっていく」という二重降下現象は，統計学／機械学習の常識を覆すが故に分野に衝撃を与えている．本課題では，データ解析において二重降下現象を活用するため，古典的な統計学の道具である FIC を援用して情報量規準を開発する．これは二重降下現象のもとでの変数選択を可能にする．一方，変数選択には quiet scandal と呼ばれる問題がかねてから存在し，それを克服する手法として選択的推論（条件付き選択後推論）が近年注目を浴びてきた．そこで，最も基本的な情報量規準である AIC で変数選択をしたときの選択的推論を拡張することで，二重降下現象のもとでの選択的推論も開発する．
|
| Outline of Annual Research Achievements |
二重降下現象のもとでの情報量規準を開発するというメインテーマについては，比較的容易にできる一般化／拡張および数値実験を行い，テーマ初の論文に向けて直前の段階まで進んだ．さらなる一般化／拡張を行うため，そして関連する最新のテクニックを組み込むため，分野第一人者との研究交流を進めたことも，2023 年度の成果である．具体的には，Katholieke Universiteit Leuven（ベルギー）に四週間滞在し，開発した情報量規準である Focused Information Criterion (FIC) の創始者である Prof. Gerda Claeskens と共同研究を進めた．FIC が開発されて 20 年が経っているため，当然ながら FIC は様々な魅力ある意義を付加する形で発展しており，それを本事業に組み込むためのアイディアや情報を得た．また，Northeast Normal University（中国）から統計応用のためのランダム行列理論の専門家である Prof. Jiang Hu を二週間招聘し，密にディスカッションを行った．本開発にはランダム行列理論が必要となるが，私は必ずしもその専門家ではないため，現時点版は人によっては受け入れにくい仮定に基づいたものとならざるを得なくなっている．しかし，Prof. Jiang Hu の知見を利用することにより，誰にでも受け入れられるような仮定に緩和できる見込みを得ることができた．選択後推論および因果推論も本事業のキーワードであるが，この両者の融合もテーマに Prof. Gerda Claeskens と四週間滞在の際に共同研究を進めている．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
2023 年度は，事業の一年目ということもあって，【研究実績の概要】で述べたような研究交流に特に力を入れた．そこで詳細に書けなかったこととしては，Prof. Gerda Claeskens は選択後推論についても第一人者であり，FIC ではなく Akaike Information Criterion (AIC) でモデル選択したときの話であるが，選択後推論について共同研究を進めたことがある．FIC ではないので本事業に直接繋がるわけではないが，申請書にも書いたことであるが Prof. Gerda Claeskens のテクニックを習得することが本事業に不可欠であり，その共同研究は礎を築いていると言える．また，【研究実績の概要】で Prof. Jiang Hu を招聘したことに言及したが，実は招聘理由は別課題に関するディスカッションであった．Prof. Jiang Hu の知見による開発条件の緩和は，実現できれば想定外の大きな結果となる．これらのことより，事業遂行のための協力体制を強化し，計画の実現可能性を高めただけでなく，事業の意義を高める方向にも進展があったと言える．以上より，進捗状況については「おおむね順調に進展している」といってよいと考える．論文のレベルを少しでも上げるため，意義のある一般化／拡張や最新のテクニックの組み込みを優先し，論文化に遅れていることが，「当初の計画以上に進展している」としなかった理由である．
|
| Strategy for Future Research Activity |
以下の三つのテーマを実施する．
テーマ（二重降下現象のもとでの情報量規準の開発）：【研究実績の概要】で述べたような，意義のある一般化／拡張や最新のテクニックの組み込みを実現させ，既に申し込み済みであるが九月の統計関連学会連合大会で講演する．ランダム行列理論が関連するところでは Prof. Jiang Hu の知見が必要となるが，随時オンラインでディスカッションする予定である．一般化／拡張についてはここで一段落させ，統計関連学会連合大会以降は論文化に取り掛かる．
テーマ（二重降下現象のもとでの選択後推論の開発）：これを可能とするのは Prof. Gerda Claeskens が開発した選択後推論の方法にあるが，この方法を発展させることで博士学位をとる間際にある Prof. Gerda Claeskens の学生が十月から二カ月半私のもとに短期滞在する予定であり，研究体制は完全に整っている状態となる．選択後推論について，Prof. Gerda Claeskens は数理的に難解ではあるものの性能／有効性を高める手法を開発しており，一方で学生は実装において計算コストを大幅に減らすアルゴリズムを開発しており，これらを本事業に適用することを狙う．
テーマ（因果推論の組み込み）：Prof. Gerda Claeskens が開発した選択後推論の手法を因果推論の枠組みで発展させる試みは既に行っている最中であり，継続して完成させる．
|
Report
(1 results)
Research Products
(7 results)
