| Project/Area Number |
22K12074
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61010:Perceptual information processing-related
|
|---|
| Research Institution | Mukogawa Women's University |
|---|
Principal Investigator |
新田 直子 武庫川女子大学, 社会情報学部, 教授 (00379132)
|
|---|
| Project Period (FY) |
2022-04-01 – 2026-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2025: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2024: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2023: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2022: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
|
|---|
| Keywords | フェイク画像 / 印象操作 / 検出・生成 / フェイク画像・映像 |
|---|
| Outline of Research at the Start |
近年、本物と判別困難なフェイク画像や映像への問題意識が高まっている。生成時に生じる視覚的特徴の不自然さに基づく従来の真贋判定技術による自動検知には限界がある。そこで本研究では、これらのフェイク画像・映像の多くは、画像や映像中の特定の被写体に対する印象操作のために生成されることに着目し、偏って肯定的、否定的な印象を与える演出がなされている被写体の有無を検知するため、画像・映像中で、肯定的もしくは否定的な印象操作がなされている可能性がある被写体領域の自動検出を目指す。また、検出モデルにおいて印象操作のための演出方法を学習することにより、特定の被写体に対する印象操作を行った画像・映像の生成を目指す。
|
| Outline of Annual Research Achievements |
本研究の目的は、i)画像中で印象操作がなされている可能性がある被写体領域の検出、及びii)特定の被写体に対する印象操作を行った画像の生成である。特に2022年度よりさまざまな画像生成や画像解析技術が開発されていることを踏まえ、2023年度は具体的に以下の内容に取り組んだ。
i)印象操作された画像とその要因領域の検出：新たな画像解析手法として、解析対象に特化したモデルを新たに構築するのでなく、事前学習されたモデルを利用するアプローチの有効性が示されてきている。そこで、印象が主観的なものであり、一意に決定されないことに着目した上で、画像とテキストの意味の類似性の評価及び画像理解と対話を可能とする大規模マルチモーダルモデルを用いて、印象操作された画像を検出した後、その要因領域を推定する手法を考案した。複数の被験者により印象及びその印象の要因となった領域が与えられた画像データセットを用いて、各大規模マルチモーダルモデルの有用性を評価した結果、画像とテキストの印象の類似性の評価に対しては、さらなるモデルの調整が必要であることが分かった。
ii)特定の被写体に対して印象操作を行った画像生成：テキストを入力とした画像生成手法として拡散モデルの有用性が示されてきている。そこで被写体を指定するテキストに加え、感情価や覚醒度といった数値で印象を指定するという簡易な形式で、拡散モデルに条件を与え、指定した印象操作を行った画像を生成する手法を提案した。単語や画像に対し被験者が与えた感情価や覚醒度が付与された比較的小規模なデータセットを用いる3種類の手法により生成された画像を評価した結果、いずれの手法も指定した条件に応じた画像生成が可能であるが、被験者による画像と印象、単語と印象の関係性が必ずしも一致しないことに起因し、被写体により各手法の操作結果が一致しないことが示された。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究に関連した研究として、事前学習された大規模言語モデルやマルチモーダルモデルを利用するアプローチが急速に主流となっている。そこで本研究の実現に当たり、当初の予定を変更し、同様に事前学習されたモデルを利用するアプローチにより実現を目指すこととした。特に、当初の予定では最初の2年間はi)の印象操作された画像の解析に注力し、後半でii)の印象操作を行った画像生成に取り組むこととしていたが、昨今の画像生成技術の発展を踏まえて、画像生成にも初年度より着手している。
この結果、まだ改善の余地があるものの、事前学習されたモデルの利用により、i)ii)いずれに対してもある程度の精度で実現可能ということが実証された。
よって当初の予定とは順番が異なるものの、おおむね順調に進展していると考える。
|
| Strategy for Future Research Activity |
i)ii)共に、画像とテキストの意味の類似性の評価を可能とする大規模マルチモーダルモデルが重要な役割を果たすが、印象に基づく画像とテキストの類似度の評価の精度に改善が必要である。この改善方法についてまず検討することによりi)ii)の精度向上を目指す。
また、i)については最終目的である被写体の検出についても進めると共に、同じ被写体に対して異なる印象操作を行ったデータセットなども用い、より客観的な指標による評価を目指す。ii)については今年度提案した3種類の手法に対し、より多くの被写体も用いて汎用性を評価すると共に、操作の簡易性及び生成画像の印象操作の有効性の両面を実現する方法について引き続き検討する。
さらに、近年は分野の発展速度が非常に速いため、新たな大規模マルチモーダルモデルも頻繁に提案されている。これらを活用した研究目的の実現方法について、迅速に対応しながら研究を進める必要がある。
|
