2023 Fiscal Year Research-status Report
Comparative study on the identification from face images for plural kinds of animals by deep learning
| Project/Area Number |
23K11151
|
|---|
| Research Institution | University of Miyazaki |
|---|
Principal Investigator |
椋木 雅之 宮崎大学, 工学部, 教授 (20283640)
|
|---|
| Project Period (FY) |
2023-04-01 – 2026-03-31
|
| Keywords | 牛顔画像データセット / 牛個体識別 / 牛顔追跡 / ArcFace / YOLO / SORT / ResNet18 / データ拡張 |
|---|
| Outline of Annual Research Achievements |
本年度は、深層学習を用いた牛の顔識別を扱った。
まず学習に用いる牛顔画像データセットを作成した。宮崎県内の３つの畜産農場で、牛動画像の撮影を行い、2781本の動画を得た。次に、動画中から牛顔領域を抽出するために、牛顔切り出し・追跡ツールを開発した。これは、YOLO と呼ばれる深層学習を用いた物体検出器に、5,921枚の牛顔画像を学習させた上で、SORT と呼ばれる物体追跡手法を改良して動画内の牛顔を追跡するものである。このツールを使って、1,192頭の牛に対して、動画中から1,026,708枚の牛顔画像を切り出した。得られた牛顔画像の内、画像枚数が少ない牛を除き、事前に準備していた他の牛顔画像を加えることで、学習用 1,614頭・629,784枚、評価用 214頭・67,309枚 の画像からなる牛顔画像データセットを作成した。
次に、作成した牛顔画像データセットを用いて、学習を行った。深層学習としては、ArcFace と呼ばれるネットワーク構造を基本に、特徴抽出部（バックボーン）としてVGG16, ResNet18, ResNet34, ResNet50, ResNet101, MobileNetv2 を比較した。比較の結果、大きな違いは見られなかったので、比較的ネットワークの規模が小さく、学習時間が短くできる ResNet18 を採用した。更に、データ拡張として、各種の手法の組み合わせを調査し、最良の結果が得られた「アフィン変換＋色変換＋CutOut」の組み合わせを採用した。学習用データを100エポック学習させた所、学習データに対して99.9％の精度が得られた。さらに、評価用データの画像を半分に分け、一方を登録用、他方を照合用として牛個体識別を行った所、88.9％の精度が得られた。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初計画していた、牛顔を対象とした個体識別が行えた。研究上で最大の障害となる学習用画像の収集について、宮崎県内の畜産農場の協力が得られた。撮影に動画を用いることで、同じ牛について多数の画像を得ることができた。また、動画中から牛顔画像を自動で切り出すツールを開発することで、多数の牛顔画像からなるデータセットを作成できた。
作成した牛顔画像データセットを用いて深層学習により学習することで、214頭の牛に対して、最終的に 88.9％の精度が得られた。研究開始時点では、51頭の牛に対して 96.0％の精度であり、数値的にはやや下がったが、実環境のデータで 90％近い精度が得られることが分かった。
学習時には、一般物体認識のために事前学習したネットワークからの転移学習も行ったが、精度の違いは見られなかった。その原因としては、作成した牛顔画像データセットは、多数の画像を含むため、転移学習を行わなくても十分な学習が行えたことが考えられる。
以上より、当初計画通り順調に進捗していると言える。
|
| Strategy for Future Research Activity |
次年度は、牛・ヤギ・猿・人の顔識別の比較を行う。当初、牛同様に顔の横側に目があり鼻筋が長い豚も対象と考えていたが、家畜の豚は群管理されており、数回に分けて撮影すると個体を判別できないことが判った。このため、同じ草食動物でデータを用意しやすいヤギを対象とすることとした。猿（チンパンジー）、人については、既存のデータセットを利用する。これらの対象に対して、牛と同様の処理を適用して顔識別を実現する。深層学習により構築された特徴抽出器のヒートマップを解析し、牛と豚、人と猿それぞれについて共通する部分を抽出する。さらに、顔の造作との対応関係から、牛豚と人猿の間で対応する特徴について検討し、顔識別一般について重要な特徴を求める。
３年目には、異なる種類の動物顔識別間での転移学習を行う。前年度に求めた「顔識別一般について重要な特徴」を利用し、牛・ヤギ・猿・人の顔識別の間で転移学習を適用し、その有効性を評価する。牛・ヤギ・猿・人をそれぞれ学習した顔識別をベースラインとし、他種の顔識別からの転移学習を導入することによる精度向上により、有効性を測る。
|
| Causes of Carryover |
深層学習で必要となる大量の計算資源を確保するために、物品費としてGPUボードを計上していた。これについて、近年の物価高騰、円安により、当初予算では十分に高性能なGPUボードを導入できなくなった。翌年度の助成金と合算してGPUボードを導入する、または、既存設備の増強で計算資源を確保する計画である。
|
