| Project/Area Number |
22KJ0007
|
|---|
| Project/Area Number (Other) |
21J20050 (2021-2022)
|
|---|
| Research Category |
Grant-in-Aid for JSPS Fellows
|
| Allocation Type | Multi-year Fund (2023)
Single-year Grants (2021-2022) |
|---|
| Section | 国内 |
|---|
| Review Section |
Basic Section 61030:Intelligent informatics-related
|
|---|
| Research Institution | Hokkaido University |
|---|
Principal Investigator |
LI ZONGYAO 北海道大学, 情報科学院, 特別研究員(DC1)
|
|---|
| Project Period (FY) |
2023-03-08 – 2024-03-31
|
| Project Status |
Completed (Fiscal Year 2023)
|
| Budget Amount *help |
¥2,200,000 (Direct Cost: ¥2,200,000)
Fiscal Year 2023: ¥700,000 (Direct Cost: ¥700,000)
Fiscal Year 2022: ¥700,000 (Direct Cost: ¥700,000)
Fiscal Year 2021: ¥800,000 (Direct Cost: ¥800,000)
|
|---|
| Keywords | 画風変換 / ドメイン適応 / 意味的領域分割 / 教師無しドメイン適応 / 教師なしドメイン適応 |
|---|
| Outline of Research at the Start |
本研究では，ラベル付きデータの入手が困難な意味的領域分割のタスクにおいて，ラベル付きデータに対する依存を緩和するために，異なるドメインのデータを活用する教師無しドメイン適応手法を構築する．教師無しドメイン適応とは，ソースドメイン（ラベル付きデータ）から学習されたモデルを目標ドメイン（ラベル無しデータ）へ適応する方法である．本研究では，複雑な画像に適した画風変換手法を構築することで，異なるドメインのデータの差異によるモデル精度の低下を解決する．また，導出した手法の汎用性向上のため，一般画像だけでなく，医用画像も本研究の対象とする．
|
| Outline of Annual Research Achievements |
本研究の初年度においては，高精度なドメイン適応手法の構築の基盤技術として，画像の変換結果の多様性および画像内の物体毎の画風を考慮した画風変換手法を構築した．具体的に，Generative Adversarial Network (GAN)に基づき，ソースドメインとターゲットドメイン間の画風変換モデルを学習した．その上で，ドメイン内の画風分布を学習する画風エンコーダおよび画像に含まれる意味内容を表現する特徴量を導入することで，研究実施計画における「変換結果の多様性を考慮した画風変換」と「画像内の物体ごとの画風を考慮した画風変換」を実現した．
二年目においては，初年度に構築した画風変換手法を応用し，意味的領域分割における教師無しドメイン適応手法を構築した．具体的に，初年度に構築した画風変換手法による多様な変換結果を活用し，画像内の内容が同様でありながらドメイン内画風が異なる変換画像を用いることで，ドメイン内画風に不変な特徴表現を学習することが可能となり，ドメイン適応の頑健性を向上させた．これにより，研究計画における「教師無しのターゲットドメインにおける領域分割精度の向上」を実現した．
最終年度においては，ドメイン適応技術の実世界へのより多くの応用を実現するために，source-data-freeドメイン適応やtest-timeドメイン適応などのより汎用的な問題設定において研究を行った．具体的に，ソースドメイン画像を用いない画風変換手法およびドメイン内画風を多様化させる画像再構成手法を構築し，ソースドメインの学習データを要求しない頑健なドメイン適応を実現した．また，ソースドメインモデルの正規化層に保存された特徴統計量を活用することで，ターゲットドメインの学習データを要求しなく，任意ドメインのテストデータに対応可能なドメイン適応を実現した．
|
