2013 Fiscal Year Research-status Report
構造情報を利用したアンサンブル学習法とその大規模問題への応用
| Project/Area Number |
25730018
|
|---|
| Research Category |
Grant-in-Aid for Young Scientists (B)
|
| Research Institution | Future University-Hakodate |
|---|
Principal Investigator |
竹之内 高志 公立はこだて未来大学, システム情報科学部, 准教授 (50403340)
|
|---|
| Project Period (FY) |
2013-04-01 – 2016-03-31
|
| Keywords | 機械学習 / アンサンブル学習 / 判別分析 |
|---|
| Research Abstract |
1. 多値判別は様々な応用をもつ重要な要素技術である．多値判別問題はターゲットとなるクラス数が多い場合には，判別器の学習に大きな計算コストが必要となるため，効率的に学習可能な2値判別器を多数組み合わせて統合（デコード）することで多値判別器を構成するアプローチが取られる．この枠組において，先行して提案されている各種のデコード手法を特殊ケースとして含みつつ，より効率的なデコードが可能な包括的な枠組みを提案した．
2. 複数の2値判別器を統合する際に，ボルツマンマシンを用いることで判別器同士の相関関係を考慮し，判別問題自体の構造情報を推定することが可能となり，より高精度な判別器を構成することができる．その一方で，ボルツマンマシンに対する最尤推定量は陽には求めることができないため，勾配法でパラメーターを推定することになる．勾配の計算に必要な正規化項の計算は，指数オーダーの計算量を必要とし直接計算することが難しいため，多くの近似計算法が提案されている．従来法では多くの場合，変数の独立性を仮定したり，サンプリングによる近似を行うことで正規化項の計算を行ないパラメーターを推定しているが，本研究では正規化項の計算をすることなく構成可能なボルツマンマシンのパラメーターの推定量を提案した．提案した推定量は，凸損失関数の最小化により定義され，一致性などの好ましい統計的性質を持つ．このパラメータ推定法により，より大規模な問題に対して，構造情報を利用した多値判別器の構成が可能となった．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
1. 今年度提案した手法は，2値判別器から構成した様々な正値測度をブレグマンダイバージェンスの最小化問題として記述されるアンサンブル法で組み合わせることによって実現されている．この枠組みは，過去に提案された様々な既存手法を統一的に扱うことが出来る非常に一般的な枠組みであり，2値判別器から構成する正値測度と採用するダイバージェンスの形によって様々なバリエーションを考えることができる．このため，提案法では目的に応じた拡張が容易であり，提案法をベースとして，クラスラベルの階層構造などの構造情報を利用可能な手法を提案していくことが可能である．また，提案手法は既に機械学習の一流論文誌Machine Learningに投稿済みである．
2. マルチタスク学習に関して，様々な問題設定，定式化についてのサーベイや検討を行った．おおまかに言って，ある1つの特定タスクに対して予測器の精度向上を目指す場合と，複数あるタスクの各々に対して予測器の精度向上を目指す定式化がありうるが，両方の場合に対してある程度有望と思われる定式化の目星をつけている．
|
| Strategy for Future Research Activity |
マルチタスク学習は関連する複数のタスクを同時に学習させることで，タスク間に共通する要因を抽出し，タスクの予測精度を向上させる学習法である．マルチタスク学習は一種のアンサンブル学習と見なすことができる一方で，タスク毎にノイズの構造や定義されるドメインが異なるという点が通常のアンサンブル学習との相違点である．このような問題に対して，タスク間の関係を考慮しつつ，複数タスクの情報を援用することで，高精度の予測器構成を可能とする手法の定式化を進める．
各タスクの情報を最大限利用して予測器の精度を向上させるためには，各タスクがどの程度の情報を共有しているのかを加味しつつ，適応的に各タスクの情報をアンサンブルするための枠組みが必要となる．これを実現するために，様々な定式化について引き続き検討を行う．一方で，適応的な推定を行う際にはブースティング法が良好に働くことが知られている．そこで，まずは代表的なブースティングアルゴリズムであるアダブーストをベースとして，タスク間の類似度・情報の共有土を加味しつつ，適応的に各タスクの情報をアンサンブルすることが可能な手法の提案を目指す．
|
| Expenditure Plans for the Next FY Research Funding |
1. 成果発表のための国際会議への参加を26年度に行う計画に変更したため．
2. 25年度は予備実験のみで，大規模な計算を行わなかったため．
成果発表のために国際会議に参加する．
大規模計算用の計算機を購入する．
|
Research Products
(1 results)
