2023 Fiscal Year Annual Research Report
| Project/Area Number |
22KJ0007
|
|---|
| Allocation Type | Multi-year Fund |
|---|
| Research Institution | Hokkaido University |
|---|
Principal Investigator |
LI ZONGYAO 北海道大学, 情報科学院, 特別研究員(DC1)
|
|---|
| Project Period (FY) |
2023-03-08 – 2024-03-31
|
| Keywords | 画風変換 / ドメイン適応 / 意味的領域分割 |
|---|
| Outline of Annual Research Achievements |
本研究の初年度においては，高精度なドメイン適応手法の構築の基盤技術として，画像の変換結果の多様性および画像内の物体毎の画風を考慮した画風変換手法を構築した．具体的に，Generative Adversarial Network (GAN)に基づき，ソースドメインとターゲットドメイン間の画風変換モデルを学習した．その上で，ドメイン内の画風分布を学習する画風エンコーダおよび画像に含まれる意味内容を表現する特徴量を導入することで，研究実施計画における「変換結果の多様性を考慮した画風変換」と「画像内の物体ごとの画風を考慮した画風変換」を実現した．
二年目においては，初年度に構築した画風変換手法を応用し，意味的領域分割における教師無しドメイン適応手法を構築した．具体的に，初年度に構築した画風変換手法による多様な変換結果を活用し，画像内の内容が同様でありながらドメイン内画風が異なる変換画像を用いることで，ドメイン内画風に不変な特徴表現を学習することが可能となり，ドメイン適応の頑健性を向上させた．これにより，研究計画における「教師無しのターゲットドメインにおける領域分割精度の向上」を実現した．
最終年度においては，ドメイン適応技術の実世界へのより多くの応用を実現するために，source-data-freeドメイン適応やtest-timeドメイン適応などのより汎用的な問題設定において研究を行った．具体的に，ソースドメイン画像を用いない画風変換手法およびドメイン内画風を多様化させる画像再構成手法を構築し，ソースドメインの学習データを要求しない頑健なドメイン適応を実現した．また，ソースドメインモデルの正規化層に保存された特徴統計量を活用することで，ターゲットドメインの学習データを要求しなく，任意ドメインのテストデータに対応可能なドメイン適応を実現した．
|
