重畳指紋の分離に適した深層学習モデルの開発

• Project/Area Number: 19K20686
• Research Category: Grant-in-Aid for Early-Career Scientists
• Allocation Type: Multi-year Fund
• Review Section: Basic Section 90110:Biomedical engineering-related
• Research Institution: National Research Institute of Police Science
• Principal Investigator: 羽合 佳範 科学警察研究所, 法科学第二部, 研究員 (30822085)
• Project Period (FY): 2019-04-01 – 2021-03-31
• Project Status: Discontinued (Fiscal Year 2020)
• Budget Amount: ¥3,640,000 (Direct Cost: ¥2,800,000、Indirect Cost: ¥840,000); Fiscal Year 2021: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000); Fiscal Year 2020: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000); Fiscal Year 2019: ¥2,080,000 (Direct Cost: ¥1,600,000、Indirect Cost: ¥480,000)
• Keywords: 重畳指紋 / 法科学 / 指紋分離 / 指紋 / 医用画像 / 深層学習 / ハイパースペクトルイメージング

Outline of Research at the Start

犯罪捜査において指紋は重要な証拠となる．しかし、複数の指紋が重なったもの（重畳指紋）は個人の同定に各指紋の分離を必要とし，既存の手法では不鮮明な指紋や同一人由来の指紋を分離できないことから、重畳指紋の証拠活用のための手法開発が望まれている．
本研究は，重なった物体を高精度に分離できる深層学習に着目し，不鮮明な重畳指紋への応用を試みる．深層学習は学習用に適正なデータセットを必要とするが，重畳指紋のデータセットが現在存在しないため，本研究では大人数から取得した重畳指紋データセットの作成を試みる．また，同データセットを用いて重畳指紋の分離を目的とした深層学習モデルを開発する．

Outline of Annual Research Achievements

犯罪捜査において指紋は重要な証拠となる．しかし、複数の指紋が重なったもの（重畳指紋）は個人の同定に各指紋の分離を必要とし，既存の手法では不鮮明な指紋や同一人由来の指紋を分離できないことから、重畳指紋の証拠活用のための手法開発が望まれている．本研究は，重なった物体を高精度に分離できる深層学習に着目し，不鮮明な重畳指紋への応用を試みたものである。深層学習は学習用に適正なデータセットを必要とするが，重畳指紋のデータセットが現在存在しないため，本研究では大人数から取得した重畳指紋データセットの作成する必要があり、そのデータセットを用いて重畳指紋を分離する深層学習モデルの開発を行うものであった。
データセットの作成においては，各画像の各ピクセルに対してそのピクセルが示す物体の名称を、目視確認をしつつ人手で付与する必要があるため，時間的労力が大きいことが課題となる．そこで労力を減らせられるよう、ある程度の精度で名称を機械的に付与する方法を検討した。大津の二値化やK平均法を単一指紋及び重畳指紋の画像に対して行ったところ、画像中の指紋領域と背景領域とを大まかに分離することができたため、時間的労力を削減できることが示唆された。指紋画像の取得については、新型コロナウイルス流行の影響を受け、実験参加者から指紋や重畳指紋を取得することが困難となり、データセット作成の進捗に遅れが発生した。
一方重畳指紋の分離においては、上述の理由によりデータセット作成の進捗が遅れたため、深層学習の代替手法としてスパースモデリングの適用を検討した。予備的検討として単一指紋画像に対して適用した結果、指紋領域と背景領域とを鮮明に分離できず、鮮明に分離するために指紋の構造を抽出するなどの正則化項を定式化の際に加える必要があることが示唆された。