2014 Fiscal Year Research-status Report
半教師付き学習による小標本高次元変数選択法の開発と超解像への応用
| Project/Area Number |
25870503
|
|---|
| Research Institution | Kyushu University |
|---|
Principal Investigator |
川喜田 雅則 九州大学, システム情報科学研究科(研究院, 助教 (90435496)
|
|---|
| Project Period (FY) |
2013-04-01 – 2017-03-31
|
| Keywords | MDL / リスクバウンド / lasso |
|---|
| Outline of Annual Research Achievements |
本研究の目的は大雑把にいえば半教師付き学習の理論の整備及び超解像への応用であった．
当初の研究計画及び昨年度までは，この目的のために主に半教師付き学習についての変数選択的側面や，パラメータ推定問題としての側面を追求してきた．しかし超解像に関する予備実験の結果から超解像の性能について重要なのは予測誤差の視点であって，パラメータ推定（または変数選択）の成否と超解像の性能は必ずしも対応しないことが示唆された．そのため今年度以降は予測誤差の理論的評価を主に行うこととした．このことは当初の研究計画を一定程度変更することになるが，最終的な研究目標は変わらず，より理に適った研究内容となったと考えている．
超解像に半教師付き学習を適用する際にはlassoの半教師付き版に相当するものを考える必要があるが，そもそもlassoの汎化誤差をタイトに抑えることが難しい．そのため今年度はまずそこを追求した．その結果以下の成果を得た．
Lassoは罰則付き尤度法の一種であるが，情報理論におけるMDL（最小記述長）理論によって罰則付き尤度はある条件下において，ある二段階符号の符号長とみなせることが知られている．MDL理論を用いて罰則付き尤度法のリスク（予測誤差の期待値）のバウンドを求める研究は古くから行われているが，近年になってもなお様々な困難があった．最も新しい既存の研究では固定計画(fixed design)においてlassoのリスクバウンドが導出された．しかし固定計画では汎化誤差を評価したとは到底いえない．しかし無作為計画に上記理論を拡張しようとするといくつかの困難があった．
本研究ではややトリッキーなテクニックを用いてこれらの困難を解決してMDL理論を用いて無作為計画（random design）においてlassoの汎化誤差が二段階符号の冗長度によって上から抑えられることを示した．
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
初年度に別機関に出向していたこと，及び上記の研究方針の変更により少々遅れている．しかし変更のコストに見合うだけの成果が得られそうであったため，変更を断行した．
|
| Strategy for Future Research Activity |
今年度開発した理論を用いて半教師付きlassoのリスクバウンドを導出する．
これは半教師付き超解像の理論的サポートとなる予定である．
また実際に半教師付き超解像を実装しその性能を評価する．
|
| Causes of Carryover |
研究方針変更などのためやや計画より遅れをもって進行しているため
|
| Expenditure Plan for Carryover Budget |
遅れていた研究環境整備を至急行う．また今年度は主に成果発表及び協力研究者などとの議論に用いる．
|
