深層学習による複数種類の動物に対する顔画像からの個体識別の特性比較

研究課題

研究課題/領域番号	23K11151
研究種目	基盤研究(C)
配分区分	基金
応募区分	一般
審査区分	小区分61010:知覚情報処理関連
研究機関	宮崎大学
研究代表者	椋木雅之宮崎大学, 工学部, 教授 (20283640)
研究期間 (年度)	2023-04-01 – 2026-03-31
研究課題ステータス	交付 (2023年度)
配分額 *注記	4,810千円 (直接経費: 3,700千円、間接経費: 1,110千円) 2025年度: 1,560千円 (直接経費: 1,200千円、間接経費: 360千円) 2024年度: 1,560千円 (直接経費: 1,200千円、間接経費: 360千円) 2023年度: 1,690千円 (直接経費: 1,300千円、間接経費: 390千円)
キーワード	牛顔画像データセット / 牛個体識別 / 牛顔追跡 / ArcFace / YOLO / SORT / ResNet18 / データ拡張 / 顔識別 / 転移学習
研究開始時の研究の概要	本研究では、人以外の牛や豚、猿などの動物を対象に、深層学習を用いて顔識別を実現する。まず、人と顔の造作特徴が大きく異なる牛を対象に、深層学習を用いた顔識別を実現する。次に、牛と同様の人の顔と大きく異なる特徴をもつ豚、および、人の顔と類似した特徴を持つ猿を対象に顔識別を実現する。最後に、既存の人に対する顔識別と猿の顔識別、牛・豚の顔識別で注目する特徴を比較することで、顔識別一般において着目すべき特徴、すなわち「何が顔の違いを決定づけているか」を明らかにすることを目指す。
研究実績の概要	本年度は、深層学習を用いた牛の顔識別を扱った。まず学習に用いる牛顔画像データセットを作成した。宮崎県内の３つの畜産農場で、牛動画像の撮影を行い、2781本の動画を得た。次に、動画中から牛顔領域を抽出するために、牛顔切り出し・追跡ツールを開発した。これは、YOLO と呼ばれる深層学習を用いた物体検出器に、5,921枚の牛顔画像を学習させた上で、SORT と呼ばれる物体追跡手法を改良して動画内の牛顔を追跡するものである。このツールを使って、1,192頭の牛に対して、動画中から1,026,708枚の牛顔画像を切り出した。得られた牛顔画像の内、画像枚数が少ない牛を除き、事前に準備していた他の牛顔画像を加えることで、学習用 1,614頭・629,784枚、評価用 214頭・67,309枚の画像からなる牛顔画像データセットを作成した。次に、作成した牛顔画像データセットを用いて、学習を行った。深層学習としては、ArcFace と呼ばれるネットワーク構造を基本に、特徴抽出部（バックボーン）としてVGG16, ResNet18, ResNet34, ResNet50, ResNet101, MobileNetv2 を比較した。比較の結果、大きな違いは見られなかったので、比較的ネットワークの規模が小さく、学習時間が短くできる ResNet18 を採用した。更に、データ拡張として、各種の手法の組み合わせを調査し、最良の結果が得られた「アフィン変換＋色変換＋CutOut」の組み合わせを採用した。学習用データを100エポック学習させた所、学習データに対して99.9％の精度が得られた。さらに、評価用データの画像を半分に分け、一方を登録用、他方を照合用として牛個体識別を行った所、88.9％の精度が得られた。
現在までの達成度 (区分)	現在までの達成度 (区分) 2: おおむね順調に進展している理由当初計画していた、牛顔を対象とした個体識別が行えた。研究上で最大の障害となる学習用画像の収集について、宮崎県内の畜産農場の協力が得られた。撮影に動画を用いることで、同じ牛について多数の画像を得ることができた。また、動画中から牛顔画像を自動で切り出すツールを開発することで、多数の牛顔画像からなるデータセットを作成できた。作成した牛顔画像データセットを用いて深層学習により学習することで、214頭の牛に対して、最終的に 88.9％の精度が得られた。研究開始時点では、51頭の牛に対して 96.0％の精度であり、数値的にはやや下がったが、実環境のデータで 90％近い精度が得られることが分かった。学習時には、一般物体認識のために事前学習したネットワークからの転移学習も行ったが、精度の違いは見られなかった。その原因としては、作成した牛顔画像データセットは、多数の画像を含むため、転移学習を行わなくても十分な学習が行えたことが考えられる。以上より、当初計画通り順調に進捗していると言える。
今後の研究の推進方策	次年度は、牛・ヤギ・猿・人の顔識別の比較を行う。当初、牛同様に顔の横側に目があり鼻筋が長い豚も対象と考えていたが、家畜の豚は群管理されており、数回に分けて撮影すると個体を判別できないことが判った。このため、同じ草食動物でデータを用意しやすいヤギを対象とすることとした。猿（チンパンジー）、人については、既存のデータセットを利用する。これらの対象に対して、牛と同様の処理を適用して顔識別を実現する。深層学習により構築された特徴抽出器のヒートマップを解析し、牛と豚、人と猿それぞれについて共通する部分を抽出する。さらに、顔の造作との対応関係から、牛豚と人猿の間で対応する特徴について検討し、顔識別一般について重要な特徴を求める。３年目には、異なる種類の動物顔識別間での転移学習を行う。前年度に求めた「顔識別一般について重要な特徴」を利用し、牛・ヤギ・猿・人の顔識別の間で転移学習を適用し、その有効性を評価する。牛・ヤギ・猿・人をそれぞれ学習した顔識別をベースラインとし、他種の顔識別からの転移学習を導入することによる精度向上により、有効性を測る。