2014 Fiscal Year Annual Research Report
分位点回帰モデルにおけるモデル選択規準に関する研究
| Project/Area Number |
13J07978
|
|---|
| Research Institution | Keio University |
|---|
Principal Investigator |
高梨 耕作 慶應義塾大学, 経済学研究科, 特別研究員(DC1)
|
|---|
| Project Period (FY) |
2013-04-01 – 2016-03-31
|
| Keywords | モデル選択 / 分位点回帰 / 非線型作用素 |
|---|
| Outline of Annual Research Achievements |
計量経済モデルが正確に特定化されていることは非常にまれであり、スペシフィケーション・エラーを含むのが通常である。モデル選択規準には、我々の推定するすべてのモデルが誤っている状況においても、最も良いモデルを選択できることが要求される。本研究では、分位点回帰モデルにおける新たなモデル選択規準を導出し、漸近最適性を示すことが目標である。この２点について、昨年度より引き続き研究を行い、下記の進展があった。
研究の方針として、次のような戦略で研究を行った。
回帰係数が無限次元空間での状況で、推定の目的関数Least Absolute Deviation(LAD)のMosco トポロジーでの収束を示す、という戦略である。パラメタの次元が最初から無限次元なのは、モデルセットをも含んだ空間を考え、その空間での最適を論ずるためである。Moscoトポロジーでの収束は、argminの点列の収束と、目的関数の下限の達成を保証してくれる。通常、推定量の一致性の証明や、機械学習などでの汎化誤差の評価に、一様ノルムでの収束を求めるのだが、パラメタ空間でのコンパクト性が要る。無限次元空間はコンパクトでないから、一様収束を求めることは、一般にできない。
さて、目的関数LADのMoscoトポロジーでの収束は、目的関数LADのレゾルベントの各点収束と同値である。ということがわかった。さらに、このレゾルベントの各点収束は、LADの劣微分作用素のグラフ収束と同値である。よって、LAD劣微分作用素の大数法則を示せば、Mosco収束を示したことになる。LAD劣微分作用素の大数法則は、ランダムセットの大数法則であるが、集合値となる事象は０集合である。よって、通常のヒルベルト空間での大数法則から導ける。これらの研究は今年度ですべて完了した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
昨年度に、当初の研究計画に対して、否定的結果が得られた。そのため、研究の戦略を変える必要があり、上記の方策で研究を行った。すなわち、推定の目的関数をMosco収束というトポロジーでの収束を示す。そして、それゆえに、argminの点列の収束と、損失の下限の達成という意味での最適性をいう方策である。
そのための数学の理解に取り組み、目論見通りに証明できた。
|
| Strategy for Future Research Activity |
無限次元パラメタの推定は、有限標本のもとでは、オーバーフィッティングしてしまう。そこで、オーバーフィッティングの解消と、モデル選択の両方を狙い、正則化法を用いることにした。実は、レゾルベントは自乗ノルムを罰金項とした、正則化法と同値である。さらに、罰金項のチューニングパラメタを任意に０や無限に動かした場合の収束や、サンプル数と同時に動かす場合の収束も、レゾルベントの収束から言える。ということがわかった。これらの研究も今年度で完了した。ところで、LASSOなどのL1ノルムを罰金項とした正則化においては、レゾルベントの摂動問題となる。この場合でも、罰金項が凸関数であるかぎり、摂動レゾルベントを各点収束させれば、Mosco収束が示せる。
推定した後の推定量を組み合わせ、新たなモデルを作るモデル平均という手法がある。推定量の凸結合は元のパラメタ空間に必ずしも含まれないので、モデルの性能がより上がる可能性がある。このモデル平均のウェイト推定に、上記で得られた成果を適用することを考えたい。ウェイト推定には、クロスバリデーションを用いる。クロスバリデーションにおいても、Mosco収束が果たして言えるか、を調べたい。
また、上記の話題は、推定量と目的関数の確率収束に関する結果である。すると、法則収束はどうなのか、も調べたいところである。目的関数が凸ならば、そのレゾルベントは必ず一価の値をとる。また、M推定量はレゾルベントの不動点として定義できる。そこで、レゾルベントを各点で法則収束させれば、推定量と目的関数の法則収束もいえるかもしれない。さらに、漸近正規生も求めたいが、非線型作用素値の確率変数の中心極限定理は、まだ良く解っていないと思われる。
今後は、上記の3つを順々に進めてゆく方針である。
|
