2016 Fiscal Year Annual Research Report
ダイバージェンスに基づいたモデル評価規準の提案と考案
| Project/Area Number |
16J04579
|
|---|
| Research Institution | Osaka University |
|---|
Principal Investigator |
倉田 澄人 大阪大学, 基礎工学研究科, 特別研究員(DC1)
|
|---|
| Project Period (FY) |
2016-04-22 – 2019-03-31
|
| Keywords | モデル選択 / ロバストネス / ダイバージェンス / 多項式回帰 / 因果推論 / ベイズ統計 / プロスペクト理論 |
|---|
| Outline of Annual Research Achievements |
数学的モデルは、如何様にも構築することが可能であるが、闇雲に作ったモデルでは現象(例えば自然現象や人間の心理、行動等)を満足に説明することが出来ず、現在観測されているデータをなぞっただけのモデルでは今後の予測に役立ち難い。AIC、BIC、GIC等の情報量規準に代表されるモデル評価規準は、モデルの候補から最適なものを選択する為の尺度であり、特に殆どの情報量規準はKL-divergenceに基づいた、真の分布とモデルとの乖離度から導かれている。
ところで現実の場面では、突発的な外乱や誤りによる異常な値(外れ値)が現れることを防ぐことは極めて困難であり、モデル選択に際しては、これらの混入によって大幅に精度を落とすことが無いこと(選択時のロバスト性)が望まれる。
当年度の研究では、KL-divergenceを母数推定時のロバスト性に着目して拡張した研究(Basu, et al. (1998))に着目し、更にそれを独立異分布設定へと拡張したダイバージェンス(Ghosh and Basu (2013))に基づいたモデル評価規準を導出した。これはAICを選択時のロバスト性に特化する形で一般化した規準と言える。
特に、当年度は多項式回帰モデルに関する理論面・実用面双方から検討を行った。提案規準(BHHJ-Cと呼ぶ)は、外れ値が無い場合にはAICの漸近性質を継承し、極端な外れ値が入った場合でも規準の値が比較的動き難いことを示した。加えて数値実験では、AIC、BIC、ロバスト推定を行ったGICが何れも外れ値の混入で精度を落とす一方、BHHJ-Cは外れ値が無い場合の精度をかなり保つ能力が確認された。
更に当年度終盤には、BHHJ-Cをより様々なモデルに適用することを目指し、因果ダイアグラム(DAG)及び選好モデル(プロスペクト理論)への応用にも取り組んだ。これらは次年度にて継続する予定である。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究の第一年度である当年度は、旧来のモデル評価規準AICをロバスト性に特化し、且つ独立異分布に対応した形へと拡張した提案規準の性質を検討し、数値実験と併せて論文として投稿することを一つの主たる到達点としており、その目標を達成することが出来た(論文については当該項目に記述)。
理論面では、特に多項式回帰モデルの選択に焦点を当て、現在広く使われているAICの漸近性質を継承しつつ、異常値の混入によって不安定になる情報量規準(ここではKL-divergenceに基づいた規準、及び対数尤度を主要項として持つ規準の総称とする)の欠点を改良するという結果を得た。加えて、仮令ロバストな母数推定を行ったとしても、主要項が対数尤度の規準は満足に機能しなくなる場面も確認し、そのような状況でも提案規準は精度を保つことが観測された。
猶、当初の計画では、当年度は主に基礎的な回帰モデルの枠組みの中で、漸近理論とロバストネスに関しての性質を検討し、数値実験で成果を示すことを中心に据えており、応用的な内容を扱う予定は無かったが、より広いモデルでの有用性を確認すべく、年度の後半では、因果推論(因果ダイアグラム)や選好モデル(期待効用理論、プロスペクト理論)への応用に一定の比重を置く運びとなった。
その点に於いては、計画通りに全て事を運べたとは言えないが、回帰モデルよりも複雑な諸モデルでも有用性をある程度検証することが出来たという成果があった(うち、因果ダイアグラムに関して3月に学会発表を行った。選好モデルは次年度での発表を計画している)為、この自己評価とする。
|
| Strategy for Future Research Activity |
当年度の中心であった提案規準は、理論的に安定した漸近性質とロバスト性を持つことが確認され、数値実験で多項式回帰モデルに対する非常に高い有用性が観測されたが、調整母数の検討を筆頭に実用上の課題は残っており、また正則条件の確認が場合によっては難しくなり、これらの調整や緩和は今後の課題である。
また、当年度終盤に始めた、提案規準をより複雑なモデルへと応用する研究が、次年度初頭の予定となる。当年度末に、非巡回有向グラフを用いた因果ダイアグラムのロバストな選択に関するポスター発表(因果に沿った外れ値と、流れと無関係な外れ値を別途考え、数値実験にて両ケースでBHHJ-Cは精度をかなりの高さに保った)を行い、また人間の選好をプロスペクト理論で表現したモデル(Kahneman and Tversky (1979)、Tversky and Kahneman (1992)、Wu and Gonzalez (1996)等)のロバストな選択を検討し始めたが、これらをより理論的・数値実験的に深化させることと、関連する性質を検証し、学会発表並びに論文投稿を行うことを計画している。
特に選好モデルについては、実験データでの適用は盛んである反面、数学的な考察は充分に行われておらず、モデルが不適切な用いられ方をしている場面も少なくない。人間の心理については殊更に外れ値、異常が起こり易く、ロバストな検討が重要と言える(この内容は申請段階には無かったものであるが、必要性の高さから、当分野の適切なモデルの作成・選択には本年度重きを置く予定である)。
|
