2021 Fiscal Year Research-status Report
| Project/Area Number |
18K18101
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
岩澤 有祐 東京大学, 大学院工学系研究科(工学部), 講師 (70808336)
|
|---|
| Project Period (FY) |
2018-04-01 – 2023-03-31
|
| Keywords | 不変表現学習 / ドメイン汎化 |
|---|
| Outline of Annual Research Achievements |
本研究の目的は、深層ニューラルネットワークが学習する表現が特定の情報を持たないように制御する要素技術の開発である。これにより、未知のユーザの行動を高精度に認識（ドメイン汎化）したり、深層ニューラルネットの判断基準が特定の因子によらないことを保証（プライバシー保護、公平性配慮）することができる。
昨年度に引き続き、大きく次の２つの方向から研究を行った。
(1) 教師なしでの不変表現学習。既存の不変表現学習は「どの情報を表現から消すか」を明示する必要があり、消したい情報についての教師データが必要であるという問題があった。このようなデータを使うことは、事前にユーザのセンシティブな情報を開示されている状況にあたり現実的ではない。この問題を解決するためには「どの情報を表現から消すか」に関する教師データなく表現から望ましくない情報を削除できることが望ましい。本研究では、ユーザに関する情報がデータセット全体に影響を与える大域的な情報であり、予測したい情報はある単一のデータに影響を与える局所的な情報であると考え，グラフィカルモデルを構築することにより分離すること、またその分離するための技術の開発を行った。本成果はECML2021に採択された。
(2) モデルアーキテクチャによる影響の調査。これまでの研究ではモデルを固定したうえでの検証を行ったが、例えばSelf Attention（SA）の言語領域の成功に代表されるように、深層学習の成功はデータに適したモデル構造（あるいはそのモジュール）をうまく発見できたことに大きな要因がある。そこで、本研究では「表現を制御する」という観点から望ましいネットワーク構造や基本モジュールの発見に向けて、畳み込みネット以外のモジュールを使った場合の影響を調査し、SAを用いたモデルが良い性能を示すことを検証した。本研究成果の一部はNeurIPS2021に採択された。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度はこれまで進めていた２つの方向についての論文成果を発表した。また、特にモデルアーキテクチャによる影響に関する実験は、最難関の会議であるNeurIPS2021に採択された他、付随した研究についても実験を進めている。これらのことから、おおむね順当に計画が進展していると評した。
|
| Strategy for Future Research Activity |
これまでの成果をより大規模・網羅的なデータセットで検証することに力点を置く。特に、昨年度公開されたDomainBedのような大規模なベンチマークデータを利用した実験を継続的に行う予定である。
|
| Causes of Carryover |
（１）COVID19による学会のオンライン化（それに伴う旅費等の余剰分）、（２）大規模な実験を行う場合の費用の余剰分、として差額が生じている。余剰分については大規模な実験を行う際の計算機環境の利用料として消費する予定である。
|
