2010 Fiscal Year Annual Research Report
機械学習による高次元小標本データ解析法の開発と暗号解読への応用
| Project/Area Number |
21700308
|
|---|
| Research Institution | Kyushu University |
|---|
Principal Investigator |
川喜田 雅則 九州大学, 大学院・システム情報科学研究院, 助教 (90435496)
|
|---|
| Keywords | 統計的学習理論 / n<<p問題 / 変数選択 / 変数選択 |
|---|
| Research Abstract |
1.密度比推定を用いた半教師付き回帰法
前年度に提案した密度比推定量に基づく半教師付き回帰法の性能について以下のことを証明した。まずラベル付きデータの標本数をnとする。このとき提案法のリスクをオーダー(1/n)の項まで評価すると、教師付き回帰(最小二乗推定量)のリスクと比較して、モデルが間違っている場合は減少すること及びそうでなければ等しいことを証明した。また、半教師付き回帰では正しいモデルが間違っているときでも、モデルが間違っている場合の解析が重要であることも示した。
2.Chapelleらが提案した「小標本回帰のためのモデル選択基準」の二つの誤りを指摘した。また、Chapelleらは提案した基準がADJよりリスクの意味でわずかに劣ることを報告している。しかし我々は上記の誤りを修正した結果、いくつかの実験でChapelleらの基準の方がリスクが小さくなることを明らかにした。
3.半教師付き回帰のためのモデル選択基準
前年度で1の方法についてラベル付きデータの標本数が少ないときでも有効なモデル選択基準を提案した。しかしモデルが正しい場合は1の半教師付き回帰法は最小二乗推定量を改良しないため、このモデル選択基準でモデルを選んだとしてもリスクは改善されない。しかし1の半教師付き回帰法に用いる重みを、上記のモデル選択基準により適応的に修正すると常に最小二乗推定量のリスクが改善できることを示した。
|
