2019 Fiscal Year Research-status Report
| Project/Area Number |
18K18101
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
岩澤 有祐 東京大学, 大学院工学系研究科(工学部), 特任助教 (70808336)
|
|---|
| Project Period (FY) |
2018-04-01 – 2022-03-31
|
| Keywords | 敵対的訓練 / 深層学習 / ドメイン汎化 |
|---|
| Outline of Annual Research Achievements |
本研究の目的は、深層ニューラルネットワークが学習する表現が特定の情報を持たないように制御する要素技術の開発である。本要素技術の開発により、未知のユーザの行動を高精度に認識（ドメイン汎化）したり、深層ニューラルネットの判断基準が特定の因子によらないことを保証（プライバシー保護、公平性配慮）することができる。
本年度は、昨年度から行っていた既存手法であるAdversarial Feature Learning (AFL) を(1)学習の安定性の観点、(2)ドメイン汎化性能の2つの観点について、積極的な論文投稿を行った。
(1)AFLは理想的な状況では理論的に最も良い不変性を達成できることがわかっており、またいくつかの応用例もすでに存在している。しかし、AFLの実際的な挙動は不安定であり、利用者の細かいチューニングなしには上記の不変性を達成することは困難である。そこで、AFLが目的とする条件付きエントロピーの最大化問題を、ペアワイズな分布マッチングの問題として置き換える手法を提案した。その結果は、人工知能に関する国際会議であるIJCAI2020に採録され、発表する予定である。
次に、(2)ドメイン汎化性能を高めることを念頭に置いた不変性のより適切な基準についての検討、および新手法の開発を行った。AFLに代表されるような不変性を獲得する学習手法は、ある取り除きたい因子と予測したい因子が独立であることを仮定している。しかし、多くの現実的なデータセットではこの仮定は成立せず、不変性を単に高めるとドメイン汎化性能が高まらないという問題があった。本研究では、ある予測したい因子については情報を既存しない範囲で最大の不変性を達成する十分不変性という基準を提案し、また十分不変性を達成する手法を提案した。その結果は、機械学習に関する国際会議であるECML2019に再録され、発表を行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度は、昨年度から行っていた2種の新規技術に関する実験的な検討を行った。また、双方の技術とも国際学会に採択されているなど、対外的な成果も残しつつある。これらのことから、おおむね順当に計画が進展していると考える。
|
| Strategy for Future Research Activity |
本研究計画を立案した当初と比較して、本研究と類似した問題意識を持つ"Weekly supervised Disentanglement"と呼ばれる研究が2019年中頃から進展しつつある。また、"Predictive F-divergence"という、本研究で使われている技法を情報量が持つ性質の観点から再検討した研究も現れている。これらの関連領域の研究を注視しながら、それらを統合するような発展手法の検討を行っていく予定である。
|
| Causes of Carryover |
(1) 採択済みの学会への参加費にかかるであろう費用、(2) 大規模な実験を行う場合の費用、の余剰分として、差額が生じている。
今後は、特に確定している学会への参加費用として利用するほか、必要に応じて大規模な実験をABCIなどのクラウド環境を利用して行う予定である。
|
