Deep Learning for improving forensic Craniofacial Superimposition method

• Project/Area Number: 19F19119
• Research Category: Grant-in-Aid for JSPS Fellows
• Allocation Type: Single-year Grants
• Section: 外国
• Review Section: Basic Section 58040:Forensics medicine-related
• Research Institution: National Research Institute of Police Science
• Principal Investigator: 今泉 和彦 科学警察研究所, 法科学第一部, 室長 (00356148)
• Co-Investigator(Kenkyū-buntansha): BERMEJO NIEVAS ENRIQUE 科学警察研究所, 法科学第一部, 外国人特別研究員
• Project Period (FY): 2019-07-24 – 2021-03-31
• Project Status: Completed (Fiscal Year 2020)
• Budget Amount: ¥1,100,000 (Direct Cost: ¥1,100,000); Fiscal Year 2020: ¥600,000 (Direct Cost: ¥600,000); Fiscal Year 2019: ¥500,000 (Direct Cost: ¥500,000)
• Keywords: CNN / 深層学習 / 法科学 / 個人識別 / 頭蓋-顔写真スーパーインポーズ法 / パースペクティブ

Outline of Research at the Start

白骨死体の個人識別の一手法である頭蓋-顔写真スーパーインポーズ法（頭蓋骨と顔写真とを重ね合わせて同一人かどうかを検査する手法）の高度化を図る。
これまで本手法は、熟練した検査者により目視的に行われ、特にその客観性に問題があった。そこで本研究はコンピュータによる深層学習を導入し、頭蓋骨と顔画像の合致度を客観的に評価するシステムを開発する。
併せて、顔写真そのものが持つ遠近に伴うゆがみ（パースペクティブ）の補正に必要な、顔とカメラとの撮影距離を顔写真から推定する方法の開発も試みる。

Outline of Annual Research Achievements

犯罪捜査において、白骨死体等の身元不明死体の個人識別は極めて重要である。本研究課題で扱う頭蓋―顔写真スーパーインポーズ法は、頭蓋骨と生前の顔写真と重ね合わせることにより互いの合致性を検査し、本人かどうかを明らかにするものである。
本研究では、頭蓋骨と顔写真の重ね合わせ作業に不可欠な、頭蓋骨の3次元形状へのランドマーク設定の自動化を試みた（以下、本検討項目を「CFS (Cranio-facial superimposition)」という）。
また、顔写真には撮影距離によるパースが少なからず生じており、CSFには頭蓋骨3次元形状の補正が不可欠であるところ、この撮影距離を顔写真から推定する手法について、深層学習をベースとした検討を併せて行った（以下、本検討項目を「SCD (subject to camera distance)」という）。
CSFについては、スペイン・グラナダ大学が所蔵する頭蓋骨3次元形状と、同大学と共同研究体制にあるソフトウェアベンダーが開発中である、個人識別支援ソフトウェアを用いた。特別研究員は、コンピュータ画像解析に基づいた自動ランドマーク設定法を開発し、受入側である当研究室では、3名の研究員が熟練検査者として頭蓋骨に手作業でランドマークを設定し、これらと、特別研究員が開発した自動化法によるものとの精度を比較した。
SCDについては、当研究室で男性10名の被験者を募り、複数の焦点距離レンズによる、複数顔角度、複数撮影距離における顔画像撮影を行った。なお、撮影は無表情のものに加えて、自然な各種表情でも行った。また、検討に必要な被験者の顔の3次元的な形状と寸法を得るため、当研究室がもつ3Dレンジファインダーにより3次元顔画像を撮影した。これら膨大な数の画像に対し、畳み込みニューラルネットワークによる深層学習を行い、単一顔画像から撮影距離を推定する手法を開発した。

Research Progress Status

令和2年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

令和2年度が最終年度であるため、記入しない。