| 研究課題/領域番号 |
22K12074
|
|---|
| 研究機関 | 武庫川女子大学 |
|---|
研究代表者 |
新田 直子 武庫川女子大学, 社会情報学部, 教授 (00379132)
|
|---|
| 研究期間 (年度) |
2022-04-01 – 2026-03-31
|
| キーワード | フェイク画像 / 印象操作 / 検出・生成 |
|---|
| 研究実績の概要 |
本研究の目的は、i)画像中で印象操作がなされている可能性がある被写体領域の検出、及びii)特定の被写体に対する印象操作を行った画像の生成である。特に2022年度よりさまざまな画像生成や画像解析技術が開発されていることを踏まえ、2023年度は具体的に以下の内容に取り組んだ。
i)印象操作された画像とその要因領域の検出：新たな画像解析手法として、解析対象に特化したモデルを新たに構築するのでなく、事前学習されたモデルを利用するアプローチの有効性が示されてきている。そこで、印象が主観的なものであり、一意に決定されないことに着目した上で、画像とテキストの意味の類似性の評価及び画像理解と対話を可能とする大規模マルチモーダルモデルを用いて、印象操作された画像を検出した後、その要因領域を推定する手法を考案した。複数の被験者により印象及びその印象の要因となった領域が与えられた画像データセットを用いて、各大規模マルチモーダルモデルの有用性を評価した結果、画像とテキストの印象の類似性の評価に対しては、さらなるモデルの調整が必要であることが分かった。
ii)特定の被写体に対して印象操作を行った画像生成：テキストを入力とした画像生成手法として拡散モデルの有用性が示されてきている。そこで被写体を指定するテキストに加え、感情価や覚醒度といった数値で印象を指定するという簡易な形式で、拡散モデルに条件を与え、指定した印象操作を行った画像を生成する手法を提案した。単語や画像に対し被験者が与えた感情価や覚醒度が付与された比較的小規模なデータセットを用いる3種類の手法により生成された画像を評価した結果、いずれの手法も指定した条件に応じた画像生成が可能であるが、被験者による画像と印象、単語と印象の関係性が必ずしも一致しないことに起因し、被写体により各手法の操作結果が一致しないことが示された。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
本研究に関連した研究として、事前学習された大規模言語モデルやマルチモーダルモデルを利用するアプローチが急速に主流となっている。そこで本研究の実現に当たり、当初の予定を変更し、同様に事前学習されたモデルを利用するアプローチにより実現を目指すこととした。特に、当初の予定では最初の2年間はi)の印象操作された画像の解析に注力し、後半でii)の印象操作を行った画像生成に取り組むこととしていたが、昨今の画像生成技術の発展を踏まえて、画像生成にも初年度より着手している。
この結果、まだ改善の余地があるものの、事前学習されたモデルの利用により、i)ii)いずれに対してもある程度の精度で実現可能ということが実証された。
よって当初の予定とは順番が異なるものの、おおむね順調に進展していると考える。
|
| 今後の研究の推進方策 |
i)ii)共に、画像とテキストの意味の類似性の評価を可能とする大規模マルチモーダルモデルが重要な役割を果たすが、印象に基づく画像とテキストの類似度の評価の精度に改善が必要である。この改善方法についてまず検討することによりi)ii)の精度向上を目指す。
また、i)については最終目的である被写体の検出についても進めると共に、同じ被写体に対して異なる印象操作を行ったデータセットなども用い、より客観的な指標による評価を目指す。ii)については今年度提案した3種類の手法に対し、より多くの被写体も用いて汎用性を評価すると共に、操作の簡易性及び生成画像の印象操作の有効性の両面を実現する方法について引き続き検討する。
さらに、近年は分野の発展速度が非常に速いため、新たな大規模マルチモーダルモデルも頻繁に提案されている。これらを活用した研究目的の実現方法について、迅速に対応しながら研究を進める必要がある。
|
| 次年度使用額が生じた理由 |
本研究期間の初年度より所属機関を異動したが、所属機関にて1月まで施設が改築中であり、物品を購入しても設置する場所がない状態であった。改築後は、年度中の物品購入の事務手続きが困難な時期であったため、次年度以降に購入することとしていた。2年目である今年度に当初購入予定であったGPU搭載PCを1台購入したが、さまざまなモデルを試すために、主にクラウドサービスとして提供されている仮想マシンを並行して利用した。利用するモデルを決定後、より多くのデータを用いた実験のためにさらにPCを購入する予定である。
|
