2020 Fiscal Year Annual Research Report
Knowledge Routing Method for Modality Networks
| Project/Area Number |
19K22861
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
中山 英樹 東京大学, 大学院情報理工学系研究科, 准教授 (00643305)
|
|---|
| Project Period (FY) |
2019-06-28 – 2021-03-31
|
| Keywords | 教師なし学習 / 少量データ学習 / ゼロショット学習 / 連合学習 / ドメイン一般化 |
|---|
| Outline of Annual Research Achievements |
研究の当初計画では、申請者が実績を有するピボット学習の考え方を拡張することで、ローカルデータを秘匿しながら他のモダリティやドメインとの関連性を活用する間接的な教師なし学習の枠組みを実現することが目標であった。しかしながら、本研究が開始された2019年から現在にかけて、本研究と近いコンセプトである連合学習(federated learning)や、強力な事前学習法である自己教師あり学習(self-supervised learning)などの技術が著しく進展し、本研究が当初想定した独創性や優位性を保つことが難しくなり、計画の大きな見直しを余儀なくされた。この結果、本年度においては本質的に重要な未解決課題として、(1)少ないデータからの学習、(2)連合学習におけるパーソナライゼーション、の二つに取り組み、それぞれ以下の成果を得た。
(1)について、循環損失を活用した教師なし物体間関連性推定手法や、外部知識リソースを用いたゼロショット概念獲得手法を実現した。また、少量データからの学習において実用上特に重要であるデータ拡張を、ニューラルネットワークによって自動的に実行する枠組みを提案し、画像認識や自然言語処理の各タスクへ適用した。これらの成果は、ECCV・ACCV・ICASSP等のハイレベルな国際会議へ多数採択されるとともに、MIRU・PRMU研究会・言語処理学会で賞を受賞するなど高い評価を得ている。
(2)について、一般的な連合学習では一つのグローバルモデルの性能向上が目的であることに対し、我々は各ローカルドメインでの性能も向上させるパーソナライゼーションの要素を取り入れる提案を行った。これは、連合学習と本研究の当初構想を融合させた挑戦的な試みであるといえる。これを実現するため、オープンセットにおいてドメイン一般化や知識転移を行うメカニズムを開発し、その一部を論文投稿した。
|
