| Project/Area Number |
23K24896
|
|---|
| Project/Area Number (Other) |
22H03640 (2022-2023)
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Multi-year Fund (2024)
Single-year Grants (2022-2023) |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61030:Intelligent informatics-related
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
山崎 俊彦 東京大学, 大学院情報理工学系研究科, 教授 (70376599)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2024)
|
| Budget Amount *help |
¥16,900,000 (Direct Cost: ¥13,000,000、Indirect Cost: ¥3,900,000)
Fiscal Year 2024: ¥6,760,000 (Direct Cost: ¥5,200,000、Indirect Cost: ¥1,560,000)
Fiscal Year 2023: ¥5,460,000 (Direct Cost: ¥4,200,000、Indirect Cost: ¥1,260,000)
Fiscal Year 2022: ¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000)
|
|---|
| Keywords | ディープ・フェイク / Deep Fake / 偽造・捏造 / 画像生成 / 敵対的画像生成 / GAN |
|---|
| Outline of Research at the Start |
本研究では深層学習の発展に伴って大きな社会問題となりつつあるディープ・フェイク（深層学習により合成された偽の画像・映像）に対して、正しく真贋判定する技術を確立することを目標とする。これにより、悪意のあるデマや犯罪を排除し、画像・映像を安心・信頼して利用できる社会の実現をめざす。
具体的には(1) ディープ・フェイク生成技術を指定・限定することなく、汎用性を持ってディープ・フェイクを判別できる技術の確立、(2) ディープ・フェイク生成の基礎技術メカニズム解明・安定化の研究を行う。
|
| Outline of Annual Research Achievements |
本研究では、深層学習の発展に伴って大きな社会問題となりつつあるディープ・フェイク（深層学習により合成された偽の画像・映像）に対して、正しく真贋判定する技術を確立することを目標とする。これにより、悪意のあるデマや犯罪を排除し、画像・映像を安心・信頼して利用できる社会の実現をざす。2023年度は下記の成果を得た。
Self-Blended Images (SBI)法の社会実装：ディープ・フェイク生成技術を指定・限定することなく、汎用性を持ってディープ・フェイクを判別できるSBIの知財を、希望する外部企業にライセンス提供し、実際のサービスとして利用可能にした。なお参考のために、SBIは研究目的であれば無償で利用でき、ソースコードも公開済みである。
生成画像の客観的評価手法の提案：Generative Adversarial Networks (GANs)技術は、拡散モデルと並んで画像生成モデルとして代表的な技術である。しかし、現在標準的な生成画像の評価尺度として知られているFrechet Inception Distance (FID)は、近年その評価値と主観評価値の間で大きなズレが見られるなどの問題があった。そのため、GAN inversionという手法を用いた新たな評価尺度を提案した。
拡散画像生成モデルの個人化：拡散モデルを用いた画像生成は、インターネット上に学習データとなる画像が多く存在する有名人などの顔生成は得意であるのに対し、個人の画像生成については不得意である。特に、学習画像に含まれていない構図などを指定するととたんに生成に失敗する。そこで、この問題を解決するFace2Diffusionというモデルを提案した。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
ディープ・フェイクを判別できる独自技術であるSelf-Blended Images (SBI)は、難関国際会議であるCVPR2022に採択されただけでなく、新聞・テレビ・雑誌などで数多く取り上げられた。テレビの報道特番で特集を受けたり、また子供向けの科学雑誌で取り上げられたりと、幅広い層に研究の意義と成果を伝えることができた。ソースコードを研究用に公開したことで我々の手法を引用した論文が2024年4月末時点で165件あるなど、当該分野に少なからぬ影響を与えることができた。さらには、2023年度には企業への知財ライセンスアウトによる社会実装も実現できた。
生成技術については、新たな客観評価尺度や個人対応可能な拡散画像生成モデルを新たに提案するなど、順調に進捗している。特に2023年度の成果であるFace2Diffusionは当該分野の難関国際会議であるCVPR2024に採択され、発表することがすでに決まっている。GAN inversionについてもCVPR2024 Workshopに採択されている。
以上に述べた通り、想定以上に順調な成果を挙げている。
|
| Strategy for Future Research Activity |
2024年度は、下記2つの課題に取り組む予定である。
1つ目は顔画像のみならず、風景など一般画像に対するディープ・フェイク検出技術である。近年、特に拡散モデルの登場や生成技術のコモディティ化によって様々なディープ・フェイク生成が可能となった。これまでの手法を拡張し、より汎用性の高いディープ・フェイク検出技術を実現する。
2つ目は、生成AIによって創られた画像の有効活用方法の検討である。画像認識・理解のための学習データは一般的にインターネットから収集されるが、すでに一定の割合で生成AIによる偽画像が含まれていると推定される。生成AIで創られた画像は見た目には自然画像と遜色なくても、特徴空間上での分布が異なるため画像認識に悪影響を及ぼす可能性も知られている。本研究では、その問題を解決し、積極的に生成AIによる画像を学習に活かす方法について模索する。
|
