2018 Fiscal Year Research-status Report
| Project/Area Number |
18K18101
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
岩澤 有祐 東京大学, 大学院工学系研究科(工学部), 特任助教 (70808336)
|
|---|
| Project Period (FY) |
2018-04-01 – 2022-03-31
|
| Keywords | 敵対的訓練 / 深層学習 / ドメイン汎化 |
|---|
| Outline of Annual Research Achievements |
本研究の目的は、深層ニューラルネットワークが学習する表現が特定の情報を持たないように制御する要素技術の開発である。本要素技術の開発により、未知のユーザの行動を高精度に認識（ドメイン汎化）したり、深層ニューラルネットの判断基準が特定の因子によらないことを保証（プライバシー保護、公平性配慮）することができる。本年度は、因子がカテゴリカルな変数である場合について、既存手法であるAdversarial Feature Learning (AFL) を(1)学習の安定性の観点、(2)ドメイン汎化性能の2つの観点から拡張した。
(1)AFLは理想的な状況では理論的に最も良い不変性を達成できることがわかっており、またいくつかの応用例もすでに存在している。しかし、AFLの実際的な挙動は不安定であり、利用者の細かいチューニングなしには上記の不変性を達成することは困難である。そこで、AFLが目的とする条件付きエントロピーの最大化問題を、ペアワイズな分布マッチングの問題として置き換える手法を提案した。その結果を、深層学習に関する国際会議のワークショップおよび国内の人工知能に関する会議で発表した。
次に、(2)ドメイン汎化性能を高めることを念頭に置いた不変性のより適切な基準についての検討、および新手法の開発を行った。AFLに代表されるような不変性を獲得する学習手法は、ある取り除きたい因子と予測したい因子が独立であることを仮定している。しかし、多くの現実的なデータセットではこの仮定は成立せず、不変性を単に高めるとドメイン汎化性能が高まらないという問題があった。本研究では、ある予測したい因子については情報を既存しない範囲で最大の不変性を達成する十分不変性という基準を提案し、また十分不変性を達成する手法を提案した。その結果を深層学習に関する国際会議のワークショップおよび国内の人工知能に関する会議で発表した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度は、深層ニューラルネットワークが学習する表現が特定の情報を持たないように制御する要素技術という本研究の目的に対して、2種の新規技術の開発を行った。また研究成果を国内会議および国際会議付属のワークショップで発表し、またトップカンファレンスへの論文投稿もすでに完了している。以上のことから、おおむね予定したとおりに研究活動は進行していると考えている。
|
| Strategy for Future Research Activity |
今年度は、昨年度明らかになった問題に対するより洗練された新手法の開発を進めると同時に、当初予定していたとおりカテゴリカル変数以外を対象にするより複雑な問題設定における検証を継続して行う。また、関連分野であるGenerative Adversarial Networksや、教師なし学習手法に関する情報のキャッチアップを継続する。
|
| Causes of Carryover |
次年度生じた理由は、当初購入を予定していた新世代のGPUが品薄であったことである。本年度については既存の計算機環境で当初の予定を代替することができたが、大規模な調査を行う上で計算機環境の増強は欠かせない。次年度は代替案として、GPUの購入可能性を継続的に探るほか、AWSの利用などを積極的に検討する予定である。
|
