2015 Fiscal Year Annual Research Report
二乗損失相互情報量を用いた実用的な機械学習手法の開発
| Project/Area Number |
15J09111
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
坂井 智哉 東京大学, 新領域創成科学研究科, 特別研究員(DC1)
|
|---|
| Project Period (FY) |
2015-04-24 – 2018-03-31
|
| Keywords | 機械学習 / 二乗損失相互 / PU学習 / 半教師あり学習 / 次元削減 / 多様体 |
|---|
| Outline of Annual Research Achievements |
２７年度は主に，正データとラベルなしデータからの学習（PU学習）に関する研究を行った．PU学習を用いた二乗損失相互情報量（SMI）推定手法の基本形は完成しており，その応用として次元削減への適用を研究中である．この研究が完成することで大量のラベルなしデータとラベルが部分的に与えられる状況下でも性能の良い次元削減手法が得られる．
PU学習の性質を明らかにするべく，理論的な立場からPU学習と教師あり学習（PN学習）との比較を行う研究が進められている．理論解析の結果，ラベルなしデータを増やしていくことでPU学習がPN学習よりも高い性能を得ることが示された．私はその研究の計算機実験を担当した．具体的には，PU学習，PN学習それぞれの手法を実装し，ベンチマークデータを用いて理論的に予測された現象が起きることを示した．この研究成果をまとめた論文を国際会議へ投稿した．
理論的な比較から更に研究を発展させ，PU学習とPN学習を組み合わせた半教師あり学習の研究を行った．PU学習とPN学習の誤差基準を組み合わせることで新たな学習手法を構築し，計算機実験によりその性能を評価した．この研究成果をまとめた論文を国際会議へ投稿した．
今後に向けて，SMIを用いた新たな応用手法を検討している際に，多様体の性質を利用した応用手法について調査していた．ちょうど，多様体データに対する対数密度勾配推定法の研究が進められており，その応用方法が今後の研究に役立つと考えて手法の実装と計算機実験を担当した．この研究の成果をまとめた論文を国内会議で発表した．現在は，論文誌へ投稿する準備を進めている．
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
当初は計画通り３つ以上の確率変数に対するSMIを研究していたが，その際にPU学習との関連性に気付き，PU学習の重要性が高いことから，そちらを優先的に進めた．その結果，PU学習と教師あり学習を組み合わせた半教師あり学習へと結びついた．既に計算機実験でその有用性を確認しており，その結果をまとめた論文を国際会議へ投稿した．
一方，PU学習を用いたSMIの推定手法も大枠は完成しており，その応用である次元削減への適用も次年度の早い段階で達成できると考えられる．
|
| Strategy for Future Research Activity |
PU学習とPN学習を用いた半教師あり学習の研究は，非凸損失を用いた手法の構築が既に完成している．非凸損失は理論解析と相性が良いが計算時間が長い．そこで，今後は高速化に向けて凸損失を用いた手法へと拡張を予定している．これにより大規模なデータに対しても新たな半教師あり学習を適用することが可能になると考えられる．凸損失へ拡張した手法をこれまでよりも大規模なデータセットに適用して，計算機実験によりその性能を示すことを予定している．
PU学習により推定したSMIを用いた次元削減手法を次年度の早い段階で完成させることを予定している．その後，今回新たに構築した半教師あり学習手法をSMI推定へ適用する手法について検討を進め，新たな応用手法の開発を進めていく予定である．
|
