透過的反射による人間の映り込みを高精度に検出するSNS投稿画像解析手法の開発

2023 Fiscal Year Annual Research Report

• Project/Area Number: 23H05387
• Research Institution: University of Miyazaki
• Principal Investigator: 臼崎 翔太郎 宮崎大学, 工学部, 特別助教 (70996785)
• Project Period (FY): 2023-04-01 – 2024-03-31
• Keywords: SNS / 深層学習

Outline of Annual Research Achievements

SNSでは不用意に自身の情報を公開しないことが重要だが、画像の投稿の場合には撮影者の属性を推定されるものが意図せず映り込むことがある。特に、透過物質越しに撮影した際に起こる反射（以降、透過的反射とする）により撮影者が映りこむ場合は、撮影者自身にも気付きにくいと考えられる。
本研究は投稿画像内の人間の映り込み箇所を、透過的反射も含め高精度に検出することを目的とする。そこで本研究では、それぞれ深層学習の分野で成功を収めている、プライバシーリスクの高い箇所を検出する手法（検出モデル）と、画像の反射成分除去手法（分離モデル）を組み合わせた深層学習モデルを構築し、各タスクを同時学習させることによって、目的の達成に取り組んだ。
本研究では既存手法（検出モデル単体）と比較し、提案手法によって1.「透過的反射による映り込み」の検出精度を改善しつつ2.「透過的反射によらない映り込み」の検出精度を維持できるかを明らかにしようとした。学習および検証には透過的反射を模擬させた疑似透過画像（人間が含まれる画像を反射成分とし他の画像と合成した画像）を用いた。
1については大きく改善されなかったが、一部の画像では背景成分の検出精度が向上したことから、モデルを同時学習することで検出精度が改善される可能性が示唆された。また2.については検出精度が下がっており、注意して学習をさせないと、通常の映り込みを見逃すリスクが高まることが分かった。分離タスクに比べて検出タスクの精度が低いことから、タスク難易度に差があることが原因で精度改善が見られないと考えられ、今後は学習方法やモデル構成を見直し、精度改善を試みる。さらに、マネキンとアクリルパーティションを用いて作成した現実の透過的反射画像をモデルに適用したところ、疑似透過画像で学習したモデルでの精度は低く、実際の透過的反射画像を用いた学習も必要であることが分かった。