2022 Fiscal Year Research-status Report
Task Fusion Learning in Deep Learning
| Project/Area Number |
22K19808
|
|---|
| Research Institution | The University of Electro-Communications |
|---|
Principal Investigator |
柳井 啓司 電気通信大学, 大学院情報理工学研究科, 教授 (20301179)
|
|---|
| Project Period (FY) |
2022-06-30 – 2024-03-31
|
| Keywords | 連続学習 / Vision Transformer |
|---|
| Outline of Annual Research Achievements |
本研究では，単一のNeural Networkに複数のタスクのための機能を同時に学習させ，学習した独立の機能の組み合わせ・重ね合わせによって，事前に学習した個別の単一機能とは異なる，新しい機能を実現し，Neural Networkがより人間の脳に近い汎用的な能力を持っていることを実証することを目的とする．また，複数機能の組み合わせによる実用的な応用についても検討することが当初の目的である．
本年度は初年度であるため，その基礎的な研究として，Vision Transformerに対する連続学習に関する研究を行った．この研究では，1つのVision Transformerに複数の分類タスクを学習させるため，タスクに応じたごく少数のパラメータ(1タスクに付き全体の0.5%程度)を導入することで，各タスクにネットワークを適応させるように学習させることを可能とした．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
1年目はVision Transformerの連続学習の研究を行い一定の成果をあげることができた．
|
| Strategy for Future Research Activity |
2年目は画像変換の様に複数のタスクを融合な可能なタスクを想定して，タスク融合学習の実現に向けて研究を進める予定である．
具体的には，領域分割，超解像，白黒画像のカラー化，インペインティング，スタイル変換，画像ドメイン変換，画像変換タスクなど，多様な画像変換タスクに関して，同時学習および組合せタスクの学習実験を行う予定である．事前学習大規模画像言語モデル，例えばCLIPやStable Diffusionをタスク融合への利用可能性についても合わせて検討する予定である．
|
