2020 Fiscal Year Research-status Report
| Project/Area Number |
18K18101
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
岩澤 有祐 東京大学, 大学院工学系研究科(工学部), 特任講師 (70808336)
|
|---|
| Project Period (FY) |
2018-04-01 – 2022-03-31
|
| Keywords | 敵対的学習 / 深層学習 / ドメイン汎化 |
|---|
| Outline of Annual Research Achievements |
本研究の目的は、深層ニューラルネットワークが学習する表現が特定の情報を持たないように制御する要素技術の開発である。本要素技術の開発により、未知の
ユーザの行動を高精度に認識（ドメイン汎化）したり、深層ニューラルネットの判断基準が特定の因子によらないことを保証（プライバシー保護、公平性配慮）
することができる。
本年度は、大きく２つの方向から研究を行った。
(1) 教師なしでの不変表現学習。既存の不変表現学習は「どの情報を表現から消すか」を明示する必要があり、消したい情報についての教師データが必要であるという問題があった。このようなデータを使うことは、プライバシー保護の問題設定を考えると事前にユーザのセンシティブな情報を開示されている状況にあたり、現実的ではない。この問題を解決するためには「どの情報を表現から消すか」に関する教師データなく表現から望ましくない情報を削除できることが望ましい。本研究では、ユーザに関する情報がデータセット全体に影響を与える大域的な情報であり、予測したい情報はある単一のデータに影響を与える局所的な情報であると考え，グラフィカルモデルを構築することにより分離すること、またその分離するための技術の開発を行った。本成果はECML（ジャーナルトラック）に投稿中である。
(2) モデルアーキテクチャによる影響の調査。これまでの研究ではモデルを固定したうえでの検証を行ったが、例えばSelf Attention（SA）の言語領域の成功に代表されるように、深層学習の成功はデータに適したモデル構造（あるいはそのモジュール）をうまく発見できたことに大きな要因がある。そこで、本研究では「表現を制御する」という観点から望ましいネットワーク構造や基本モジュールの発見に向けて、畳み込みネット以外のモジュールを使った場合の影響を調査し、SAを用いたモデルが良い性能を示すことを検証した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度はこれまで進めていた方向についての主要な学会発表（IJCAI2020）を行ったほか、新たな方向性として２つの方向性について検証を行い、どちらも良好な結果を得ている。これらのことから、おおむね順当に計画が進展していると考える。
|
| Strategy for Future Research Activity |
最終年度である本年度は、これまでの成果をより大規模・網羅的なデータセットで検証することに力点を置く。特に、昨年度公開されたDomainBedのような大規模なベンチマークデータを利用する予定である。
|
| Causes of Carryover |
（１）COVID19による学会のオンライン化（それに伴う旅費等の余剰分）、（２）大規模な実験を行う場合の費用の余剰分、として差額が生じている。余剰分については大規模な実験を行う際の計算機環境の利用料として消費する予定である。
|
