2022 Fiscal Year Research-status Report
特定の被写体に対する印象操作を行うフェイク画像・映像の検出と生成
| Project/Area Number |
22K12074
|
|---|
| Research Institution | Mukogawa Women's University |
|---|
Principal Investigator |
新田 直子 武庫川女子大学, 生活環境学部, 教授 (00379132)
|
|---|
| Project Period (FY) |
2022-04-01 – 2026-03-31
|
| Keywords | フェイク画像 / 印象操作 / 検出・生成 |
|---|
| Outline of Annual Research Achievements |
本研究の目的は、i)画像中で、肯定的もしくは否定的な印象操作がなされている可能性がある被写体領域の検出、及びii)特定の被写体に対する印象操作を行った画像の生成である。初年度である2022年度は具体的に以下の内容に取り組んだ。
1) データセットの作成：商品などの特定の被写体に対し、肯定的もしくは否定的な印象を与えるように制作されていると考えられる広告画像に対し、被写体を示す矩形領域の位置とサイズを正解ラベルとして付与し、17種類のトピックに対する20,112枚の広告画像データセットを作成した。
2) 被写体検出モデルの構築：広告画像は、印象操作の対象物以外の物体も用いて特定の印象を与えるよう制作されており、視覚特徴のみを用いて複数の物体の中から対象物を特定することは難しい。そこで広告画像が対象物に関係する内容のテキスト情報を含む場合が多いと考え、視覚特徴のみでなく、画像から取得したテキスト情報も考慮し、画像領域間、単語間、画像領域と単語間の関係などを考慮可能なモデルであるTransformerを用いた被写体検出モデルを構築した。1)で作成した広告画像データセットにより学習・評価を行った結果、テキスト情報を考慮することにより、特に誤検出が大幅に減少し、複数の物体の中からより適切に印象操作の対象物が特定できることを確認した。
3)被写体に対する印象操作モデルの構築：複数の物体を含む画像を入力とし、指定した印象を持つように指定した被写体の外観変換を行う画像変換モデルを敵対的生成ネットワークを用いて構築した。これに加え、2022年度に大きな発展を遂げたテキストを用いた画像生成手法により、1)で作成した広告画像データセットに類似した画像が生成可能か予備的な実験検証を行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究のi)、ii)の2つの目的に対して利用できるデータセットとして、規模は限定的ではあるものの、17種類の異なるトピックの広告画像データセットを作成した。また、i)の目的に対し、自然言語処理分野での最先端モデルであるTransformerを画像からの物体検出に適用したモデルを用い、視覚特徴のみでなくテキスト情報も考慮した被写体検出モデルを構築し、作成した広告画像データセットを用いてテキスト情報を考慮する有効性について検証した。ii)の目的に対しては、敵対的生成ネットワークをベースに、条件として与えられた印象に応じて入力画像中の特定の被写体の外観を変換するモデルを構築した。これらの研究成果は当初の予定通りである。また、2022年度には国内外の研究動向として、テキストを用いた画像生成技術が大きく発展したため、ii)の目的に対し、当初は予定していなかったテキストを用いた画像生成を用いた実現方法についても予備検討を行った。以上より、おおむね順調に進展していると考える。
|
| Strategy for Future Research Activity |
i)の目的については、画像中の特定の被写体に対する印象操作のための演出方法を明らかにするため、被写体の検出のみでなく画像の印象も推定し、その判断根拠に基づき、被写体の印象を決定付ける領域の抽出にも取り組む。また、ii)の目的については、テキストを用いた画像生成技術が急速に発展していることから、特定の被写体に対する印象操作を行った画像を生成するためのテキストの決定方法などについても検討を進める。
特に、近年の画像生成技術の発展により品質の高い画像が生成される場合、偏って肯定的、否定的な印象を与える演出がなされた画像を検出するi)の技術が今後重要となる。i)の実現に必要なデータセットについて、今年度は人手で作成したが、今後は自動生成した画像も用いた効率的なデータセットの拡張方法についても検討する。
|
| Causes of Carryover |
今年度より所属機関を異動したが、所属機関にて1月まで施設が改築中であり、物品を購入しても設置する場所がない状態であった。改築後は、年度中の物品購入の事務手続きが困難な時期であったため、次年度以降、実装に必要なPCやGPUなどを購入予定である。
|
