2022 Fiscal Year Annual Research Report
| Project/Area Number |
21J20050
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | Hokkaido University |
|---|
Principal Investigator |
LI ZONGYAO 北海道大学, 情報科学院, 特別研究員(DC1)
|
|---|
| Project Period (FY) |
2021-04-28 – 2024-03-31
|
| Keywords | 画風変換 / 教師無しドメイン適応 / 意味的領域分割 |
|---|
| Outline of Annual Research Achievements |
本年度は，昨年度に構築した画像の変換結果の多様性および画像内の物体毎の画風を考慮した画風変換手法を応用し，意味的領域分割における教師無しドメイン適応手法を構築した．昨年度に構築した画風変換手法による多様な変換結果を活用し，ドメイン内画風に不変な特徴表現を学習することで，ドメイン適応の頑健性を向上させた．具体的に，本年度の研究では，一枚のソースドメインまたはターゲットドメインの画像に対して画風変換を行い，ランダムでドメイン内の画風を二回サンプリングすることで，ドメイン内における2枚の画風の異なる変換結果を取得した．その上で，取得された変換画像を用いて学生モデルおよび教師モデルから構築されるself-ensembling手法によりドメイン適応を行った．本技術の実現によって，画像内の内容が同様でありながらドメイン内画風が異なる変換画像を用いることで，ドメイン内画風に不変な特徴表現を学習することが可能となり，研究計画における「教師無しのターゲットドメインにおける領域分割精度の向上」を実現した．上記の研究成果を踏まえて，本年度に実施した研究活動は，昨年度に立てた研究実施計画通り，順調に進展している．
また，本年度の研究では，昨年度に立てた計画になかったsource-data-freeドメイン適応に関する研究を行った．具体的に，従来の教師無しドメイン適応手法はソースドメインデータを必要としている．しかしながら，実世界の応用では，個人情報保護などの観点からソースドメインデータの利用が制限されている場合が多く存在する．このような場合に対してドメイン適応を応用するために，ソースドメインデータの代わりにソースドメインの学習済みモデルを利用するsource-data-freeドメイン適応手法を構築した．以上のように，本来計画した研究成果の応用範囲を広げた計画以上の成果を挙げることができた．
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
本年度の研究においては，研究計画通りにドメイン内画風に不変な特徴表現を学習した教師無しドメイン適応手法を構築し，ターゲットドメインにおける領域分割精度の向上を実現した．本研究成果は論文誌Pattern Recognition (IF 8.518) に投稿・採択された．このことから，本年度においては，当初立てた研究計画が順調に進展した．当初の計画以外にも，教師無しドメイン適応の応用できない場合のために，source-data-freeドメイン適応手法を提案し，画像処理分野におけるトップ国際会議IEEE International Conference on Image Processing (ICIP) 2022に採択され，発表を行った．また，上記のsource-data-freeドメイン適応の問題設定をさらに汎化させた問題設定を提案し，新たに手法を提案した．研究成果として，コンピュータビジョン分野におけるトップ国際会議European Conference on Computer Vision (ECCV) 2022に採択され，発表を行った．以上のことから，本年度においては，本課題の研究は当初の計画以上に進展したといえる．
|
| Strategy for Future Research Activity |
今後の研究の推進方策として，ドメイン適応技術の実世界へのより多くの応用を実現するために，教師無しドメイン適応に加えて，source-data-freeドメイン適応やtest-timeドメイン適応などのドメイン適応に関する様々な問題設定において研究を行う予定である．具体的に，source-data-freeドメイン適応に対しては，ドメイン間の画風差異を縮小するsource-data-free画風変換手法を構築し，ターゲットドメイン画像に対する予測精度の向上を目指す．次に，ドメイン内の画風多様性を考慮した予測からの画像再構成手法を構築し，ターゲットドメイン画像の画風多様化を実現する．その上で，画風多様化したターゲットドメイン画像を用い，ドメイン内画風に不変な特徴表現を学習することで，ドメイン適応の頑健性の向上を目指す．また，test-timeドメイン適応に対しては，ソースドメインモデルのBatch Normalization層に保存された特徴統計量を活用し，学習データとテストデータの特徴分布差異を縮小する手法を構築する．これにより，ターゲットドメインの学習データを要求しなく，かつテストデータのドメインを指定しないドメイン適応を実現する．また，一般画像だけでなく，本研究で構築した教師無しドメイン適応，source-data-freeドメイン適応，test-timeドメイン適応を含めるドメイン適応手法の異分野への応用可能性について検証する．
|
