2021 Fiscal Year Annual Research Report
個人性を保持した画像変換に基づくプライバシー保護を備えた顔認証技術の実現
| Project/Area Number |
21J15252
|
|---|
| Research Institution | Tohoku University |
|---|
Principal Investigator |
河合 洋弥 東北大学, 情報科学研究科, 特別研究員(DC2)
|
|---|
| Project Period (FY) |
2021-04-28 – 2023-03-31
|
| Keywords | 顔認証 / プライバシ保護 / 画像変換 |
|---|
| Outline of Annual Research Achievements |
本研究では，プライバシ保護を備えた顔認証の実現のために，顔画像の変換手法および認証手法を開発することを目的とする．「機械（顔認証）は本人と識別できるが，人間は本人と認識できない」画像変換を顔画像に施すことで，事前に同意した範囲を超えた顔画像の利用からユーザを保護する．敵対的生成ネットワーク (Generative Adversarial Network: GAN) に基づいて，個人性を保持したまま顔ドメインから別のドメインへ顔画像を変換する手法を検討する．本研究の目的を達成するために，以下の3課題に取り組む．①顔認証モデルの解析：一般的な顔認証モデルが顔画像中のどのような情報を個人認証に用いているのか解析する．②顔の特定の領域のみを用いた顔認証：目や鼻，口等の顔画像の一部の領域の情報のみを用いる顔認証手法の検討を行う．③顔の特定の領域のみを保持した顔画像変換：顔の一部の領域のみを保持し，他の領域の情報を別人の顔に置き換えるようなドメイン変換手法の検討を行う．
現在までに，課題1と課題2の一部を完了している．一般的なCNNに基づく顔認証モデルに対し，顔の領域分割手法を応用した独自の解析手法を適用し，CNNが認証を行う上で重視した顔画像中の領域を可視化した．また，顔の領域分割の結果に基づいて顔の一部の領域をマスクして顔認証モデルの学習を行い，各パーツの認証における有効性を明らかにした．また，複数のパーツの組み合わせにより顔画像全体の情報を用いた場合と同等の認証精度が達成できることを実証した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初の研究計画では，研究目的を達成するために必要な3つの課題：①顔認証モデルの解析，②顔の特定の領域のみを用いた顔認証，③顔の特定の領域のみを保持した顔画像変換について，2年という研究期間の中で段階的に取り組む予定であった．現在までに，課題1と課題2の一部を完了しており，研究は概ね当初の計画通りに進展しているといえる．
課題1については，畳み込みニューラルネットワーク (Convolutional Neural Network: CNN) に基づく一般的な顔認証モデルが，顔画像中のどのような情報を個人認証に用いているのか解析するものである．本研究では，Face Parsingと呼ばれる顔の意味領域分割手法に着目し，顔画像を複数のパーツ領域に分割することで解析を行った．顔の一部のパーツの情報のみを含むような複数のパーツ画像を生成し，学習用データセットを作成した．該当データセットを用いてCNNに基づく顔認証モデルを独自に学習し，顔認証分野において一般的に用いられる評価プロトコルに基づいて認証精度の評価を行った．一連の実験を通して，顔のパーツの中で，目や口，鼻を除く肌の領域の情報が個人認証のために重要であることを確認した．
課題2については，顔画像の一部の領域の情報のみを用いる顔認証手法の検討を行うものである．比較的小さな顔のパーツである目・鼻・口・眉のみを用いて顔認証モデルの学習と評価を行った結果，複数の顔のパーツを組み合わせることで完全な顔画像を用いた場合と同等の認証精度を達成できることを実証した．
|
| Strategy for Future Research Activity |
研究計画における残りの2課題：②顔の特定の領域のみを用いた顔認証，③顔の特定の領域のみを保持した顔画像変換に取り組む予定である．
課題2については，目・鼻・口・眉という組み合わせの他に複数の組み合わせを検討する．このとき，認証精度の向上のためにFace Parsing手法の改良を行う．従来のFace Parsing手法では，推定される顔のパーツ領域の面積に大きなばらつきがあり，セグメンテーションマスクの推定精度低下の要因となっていた．本研究では，主要なFace Parsing用データセットに含まれるセグメンテーションマスクに基づいて，面積の大きなパーツを複数の小領域分に割する形でより詳細なマスクを作成する．独自に作成された詳細なマスクは，顔の特定の領域のみを用いる顔認証モデルの生成時にも，領域選択の幅を広げることができるという点で非常に有用であると考えられる．
課題3については，課題2で選択されたものと同様の顔の領域のみを保持して，他の領域を他人の顔画像で置き換える手法を検討する．このとき，生成された顔画像は継ぎ接ぎ等のない自然な画像であり，かつ顔認証が可能な画像とする．敵対的生成ネットワーク (Generative Adversarial Network: GAN) やAuto Encoder (AE) 等の従来の画像生成手法に基づき，顔画像を特徴空間上に埋め込んで特徴空間上で顔のパーツの置換を行う手法の実現を目指す．そのために，顔のパーツごとに特徴空間への埋め込みと画像の再構成を行うネットワークアーキテクチャ，および最終的に生成される顔画像が認証可能となるような損失関数の検討を行う予定である．
|
Research Products
(9 results)
