2014 Fiscal Year Research-status Report
構造情報を利用したアンサンブル学習法とその大規模問題への応用
| Project/Area Number |
25730018
|
|---|
| Research Institution | Future University-Hakodate |
|---|
Principal Investigator |
竹之内 高志 公立はこだて未来大学, システム情報科学部, 准教授 (50403340)
|
|---|
| Project Period (FY) |
2013-04-01 – 2017-03-31
|
| Keywords | 板倉斉藤ダイバージェンス / 拡張擬似モデル |
|---|
| Outline of Annual Research Achievements |
本年は主にアンサンブル学習の枠組みに基づくマルチタスク学習に取り組んだ. マルチタスク学習は, 複数の情報を共有するタスク(判別問題)に対して,タスク間で共有されている情報を利用することで性能の向上を測る技術である.多くのアルゴリズムが確率モデルにもとづいて導出されている一方で, 本研究では確率モデルを含む拡張擬似モデルを用いて効率的に推定を行うためのアルゴリズムを考案した.
通常の確率モデルを用いた推定では. アルゴリズムが経験分布と確率モデル間のカルバックライブラーダイバージェンスの最小化問題として定式化されることが多いが, 拡張擬似モデルを用いた推定にカルバックライブラーダイバージェンスを適用すると一致性などの好ましい性質が失われることが明らかになったため, 一般化ダイバージェンスの一つである板倉斉藤ダイバージェンスに着目した. その結果, 拡張擬似モデルを用いた推定に板倉斉藤ダイバージェンスを適用することで, 判別問題における著名なアルゴリズム・アダブーストと等価なアルゴリズムが導出できることが明らかとなった. アダブーストは一致性を持ち, さらに計算効率のよいアルゴリズムであり, 様々な実問題に応用されている. この結果をマルチタスク学習問題に援用することで, タスク間の共有情報を利用して性能を向上させることが可能な, 高速かつ簡易なアルゴリズムを開発した. 擬似モデルを用いた推定や提案法に関して理論的な考察を行いその性質を明らかにし, 数値実験によってその有用性を確認した.
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
今年度提案した手法は, 拡張擬似モデルと板倉斉藤ダイバージェンスを用いて, アンサンブル学習の枠組みでマルチタスク学習を効率的に行うことを可能としている. 手法の構築, 実装は終了しており, 簡単な実験により従来法との比較を行いつつ性能の検証も行った. また, 提案手法の理論的性能についての解析も行い, 結果をまとめて国際会議に投稿し採録されている.
Takashi Takenouchi, Osamu Komori, and Shinto Eguchi.
A novel boosting algorithm for multi-task learning based on the Itakura-saito divergence.
BAYESIAN INFERENCE AND MAXIMUM ENTROPY METHODS IN SCIENCE AND ENGINEERING (MAXENT 2014), volume 1641, pages 230--237. AIP Publishing, 2015.
|
| Strategy for Future Research Activity |
マルチタスク学習について, 各タスクで共有されている情報を効率的に取り込むための方法は今年度までにある程度確立されたので, 研究計画書に記載したように, タスク間で共有される情報の程度に応じて適応的に共有情報の取り込みを行うための枠組みについてさらなる検討を行う.
|
| Causes of Carryover |
成果発表のための国際会議出席を27年度に2回行う予定に変更したため.
|
| Expenditure Plan for Carryover Budget |
成果発表のために国際会議に参加する.
|
