画風変換に基づく教師なしドメイン適応に関する研究

2021 年度 実績報告書

• 研究課題/領域番号: 21J20050
• 配分区分: 補助金
• 研究機関: 北海道大学
• 研究代表者: LI ZONGYAO 北海道大学, 情報科学院, 特別研究員(DC1)
• 研究期間 (年度): 2021-04-28 – 2024-03-31
• キーワード: 画風変換 / 教師なしドメイン適応 / 意味的領域分割

研究実績の概要

本年度は，高精度なドメイン適応手法の構築の基盤技術として，画像の変換結果の多様性および画像内の物体毎の画風を考慮した画風変換手法を構築した．具体的に，本年度の研究では，Generative Adversarial Network (GAN) のフレームワークに基づき，画風を変換する生成ネットワークと画風を識別する識別ネットワークを競合的に学習させる敵対的学習を行うことで，ソースドメインとターゲットドメイン間の画風変換を実現した．その上で，ドメイン内の画風分布を学習する画風エンコーダを構築し，この分布からサンプリングされた画風に特化した正規化層を生成ネットワークに導入する仕組みを構築することで，研究実施計画における「変換結果の多様性を考慮した画風変換」を実現した．次に，画像に含まれる意味内容を表現する特徴を学習に導入することで，研究計画における「画像内の物体ごとの画風を考慮した画風変換」を実現した．上記の研究成果を踏まえて，以上のように，本年度に実施した研究活動は，昨年度に立てた研究実施計画通り，順調に進展している．
本年度は，来年度の研究に計画している教師なしのターゲットドメインにおける領域分割精度の向上の基礎理論を構築する予定である．具体的に，昨年度に構築した画風変換手法を用いることで，一枚の画像からドメイン内の画風が異なる変換結果が取得できる．画風の異なる変換結果をドメイン適応モデルの学習に用いることで，ドメイン内において画風に不変な特徴表現を学習する手法の構築が可能となると考えられる．

現在までの達成度 (区分)

2: おおむね順調に進展している

理由

本年度の研究においては，研究計画通りに変換結果の多様性および画像内の物体ごとの画風を考慮した画風変換を実現した．本研究成果は国際会議IEEE International Conference on Acoustic, Speech, and Signal Processing (ICASSP) 2021に採択され，発表を行った．また，本研究により構築した基盤技術を応用した物体検出に対するドメイン適応手法を新たに提案し，国際会議IEEE International Conference on Acoustic, Speech, and Signal Processing (ICASSP) 2022に投稿・採択された．このことから，本年度においては，本課題の研究はおおむね順調に進展したといえる．
ただし，導出した手法の汎用性の向上のため，一般画像だけでなく，医用画像も本研究の対象とすることを予定しているが，本年度の研究においては，一般画像のみを研究対象としており，医用画像を対象とする研究については着手できていない．来年度の研究目標である高精度なドメイン適応に対する研究については，研究遂行中ではあるものの学会や論文誌への掲載には至っていない．このことから，本年度の研究は計画以上に大きく進展しなかった．

今後の研究の推進方策

今後の研究の推進方策として，本年度に構築した画風変換手法を意味的領域分割における教師無しドメイン適応に応用し，教師なしのターゲットドメインにおける領域分割精度の向上を目指す．特に，多様な変換結果を活用することで，ドメイン適応の頑健性を向上させる．具体的には，一枚のソースドメインまたはターゲットドメインの画像に対して画風変換を行い，ランダムでドメイン内の画風を二回サンプリングすることで，ドメイン内における2枚の画風の異なる変換結果を取得する．次に，取得された変換画像を用いて学生モデルおよび教師モデルから構築されるself-ensembling手法によりドメイン適応を行う．self-ensembling手法では，学生モデルのパラメータを更新するたびに，学生モデルパラメータの指数移動平均を計算して教師モデルのパラメータを更新する．学生モデルの学習では，ターゲットドメインの画像に対して学生モデルに教師モデルと同様な予測結果を出力させることで，ターゲットドメインにおける認識性能の改善を実現する．本技術の実現によって，画像内の内容が同様でありかつドメイン内画風が異なる変換画像を用いることで，ドメイン内画風に不変な特徴表現を学習することが可能となる．これにより，ターゲットドメインにおいてモデルの認識精度のさらなる向上が期待できる．また，一般画像だけでなく，上記のドメイン適応手法を医用画像などの他分野への応用することも検討し始める．

研究成果

• [学会発表] Divergence-guided Feature Alignment for Cross-domain Object Detection (2022)
  • 著者名/発表者名: Zongyao Li
  • 学会等名: IEEE International Conference on Acoustic, Speech, and Signal Processing (ICASSP) 2022
  • 国際学会
• [学会発表] Semantic-aware Unpaired Image-to-image Translation for Urban Scene Images (2021)
  • 著者名/発表者名: Zongyao Li
  • 学会等名: IEEE International Conference on Acoustic, Speech, and Signal Processing (ICASSP) 2021
  • 国際学会